主题概况

Evaluation

第 3 / 3 页
趋势
16
想法
16
最近一期
2026-06-23
趋势 · 日 · 2026-04-06 · Embodied AI

机器人动作系统正在围绕可复用的控制基础设施构建

4 月 6 日最强的内容是具身控制方法,它们让机器人动作系统更容易构建、更容易调控,也更不容易失效。最清楚的证据来自 Veo-Act、StarVLA 和 E-VLA:视频预测被用于高层规划,VLA 代码库正在标准化,事件感知正在改善低光和模糊条件下的操控。当天也有评测工具和更快的机器人强化学习工作,但最扎实的主题是围绕动作的实用控制基础设施。

想法 · 日 · 2026-04-06 · Embodied AI

机器人策略部署升级

这一天的机器人动作工作指向三个现在就能做的具体改动:在视频规划和反应控制之间加一层切换;把事件相机当成 VLA 在低光和模糊条件下的部署修复;标准化策略评测,这样每次改骨干或动作头时都不用重写整套栈。前两项有最清楚的任务级证据。第三项更像工作流建设,但落地理由也很具体。

想法 · 周 · 2026-W14 · Software Intelligence

可执行的 agent 工作流基准

本周指向了 coding agent 工作流中的三个实际改动:用真实生产会话搭建离线回放基准,在 agent 循环中加入工具输出裁剪以减少重复上下文加载,以及按相互依赖的 PR 序列来评估 agent,而不是一次只看一个任务。这三个方向都依赖可执行的检查方式,例如稳定测试、保留的仓库状态,以及可测量的 token 或延迟变化。

趋势 · 日 · 2026-04-03 · Software Intelligence

编码代理研究正变得更难作弊,也更容易验证

这一阶段最强的内容集中在那些要面对真实状态、真实失败模式和真实执行后果的编码代理上。SWE-STEPS 和 ABTest 让评估更具体。GrandCode 给出一个醒目的现场结果,而 IndustryCode 用更难的工业任务把上限拉回到现实。当前重点更少放在一次性补丁是否成功,更集中在代理能否在时间、工具和仓库历史中保持稳定。

想法 · 日 · 2026-04-03 · Software Intelligence

仓库代理安全门

代码代理评估正在转向真实仓库状态、真实用户失败轨迹和真实扩展安全检查。眼下最明确的近期开销变化,是基于支持失败构建内部回放套件、带仓库健康评分的有状态 pull request 序列基准,以及在第三方技能接触开发者机器或 CI 之前设置隔离步骤。

趋势 · 日 · 2026-04-01 · Software Intelligence

软件代理研究对信号、证据和风险的要求更严了

这段时间最强的主题,是对软件代理的控制更紧了:训练用更干净的轨迹,评估用更好的日志,现实仓库和真实工作区里的代理行为也接受更难的测试。证据比标题党更务实。STITCH 说明更少但更有价值的轨迹能带来很大收益,而 GitHub 规模研究和安全研究把长期代码 churn 和 prompt injection 风险放到前台。

想法 · 日 · 2026-04-01 · Software Intelligence

Agent workflow observability

这段时间的软件代理工作指向三项马上能做的流程改动:跟踪代理代码在合并后是否还能保留,发布可复用的运行包用于评估和训练,并把不可信内容隔离当作代理安全的一部分。共同点是更清楚地看到代理做了什么、保住了什么,以及周边脚手架允许了什么。