趋势

代码代理正在按生产工人来管理

日 · 2026-06-11 · Software Intelligence

当天的主要信号是对代码代理的操作纪律要求。Trace、AgentBeats 和 ComAct 都把代理当作系统来处理,这些系统需要可执行的规则、可重复的评估,以及更安全的动作通道,团队才能在真实软件工作中信任它们。

代码代理的运行时规则

对代码代理的研究正在把用户偏好放到比记忆条目更高的位置。Trace 会提取持久的用户纠正,把它们改写成原子规则,并在活动验证器通过之前阻止任务完成。在 ClawArena 上,报告的提升很大:分布内的违规率从 100.0% 降到 37.6%,分布外降到 2.0%。

仓库级指导呈现出更不稳定的结果。一项覆盖 148 个项目、15,549 个代理式 pull request 的研究发现,说明文件有帮助,但结果取决于文件本身。合并率至少提高 20% 的项目,说明文件更长、结构更清楚,中位数为 976 个词;而大幅下滑的项目中位数只有 569 个词。实际结论很直接:团队需要有范围、检查项和结构的说明,还需要在运行时用钩子让代理照着执行。

代理 pull request 需要更好的拒绝控制

两项基于 AIDev 的研究把代码代理描述为会消耗真实审查资源的贡献者。在一个样本中,来自 Copilot、Devin、Cursor 和 Claude 的 bug 修复 pull request 中有 46.41% 被拒。拒绝分类指向失效或已被替代的修复、错误实现、错误方法和持续集成失败。

另一项针对 151 个 Java 仓库的因果研究提醒人们不要只看架构指标的表面。代理式 AI 采用与 6.7% 更低的架构异味密度相关,但原始异味数保持不变,而代码量上升了 12.8%。如果团队只通过归一化密度来衡量代理质量,就会看不到底层架构负担几乎没有变化。

基准正在变成代理交互

AgentBeats 把基准测试本身做成了一个代理。它的 Agentified Agent Assessment 方法用 Agent-to-Agent 通信做任务管理,用 Model Context Protocol 做工具访问,所以被测代理可以通过共享的交互模式接受评估。作者报告了一场持续五个月的公开竞赛,包含 298 个裁判代理、467 个被测代理,以及覆盖代码、网页浏览、医疗和多代理游戏的基准。

这和可复现性有关,因为代理行为常常取决于测试框架。AgentBeats 声称,它的代码案例研究在可比较的地方保留了公开记录的一致性,同时也暴露了传统设置里缺失的一对一结果。这个语料里最强的证据是规模和兼容性,而不是某个单独的分数表。

  • Xiaoyuan Liu, Jianhong Tu, Yuqi Chen, Siyuan Xie, Sihan Ren, Tianneng Shi, Gal Gantar, Evan Sandoval, Donghyun Lee, Daniel Miao, Peter J. Gilbert, Nick Hynes, Mauro Staver, Warren He, David Marn, Andrew Low, Xi Zhang, Elron Bandel, Michal Shmueli-Scheuer, Siva Reddy, Alexandre Drouin, Alexandre Lacoste, Ramayya Krishnan, Elham Tabassi, Yu Su, Victor Barres, Chenguang Wang, Wenbo Guo, Dawn Song

面向真实软件的更安全动作空间

ComAct 通过把 Component Object Model,也就是 COM,作为代理动作空间来面向专业 Windows 软件。代理为 SolidWorks 和 AutoCAD 这类应用编写 Python COM 脚本,从而对密集界面进行语义化的程序控制。在 ComCADBench 上,这个基准包含跨三个 CAD 应用的 1,000 个任务,报告的任务成功结果通常远高于基于 GUI 的代理,论文说后者接近于零。

安全证据说明了为什么这些动作通道需要严格授权。Obsidian Security 报告了一个 CVSS 9.9 的 LiteLLM 利用链,默认的低权限用户可以进入管理员路由并在服务器上执行代码。由于 LiteLLM 位于代理和模型提供方之间,网关一旦被攻破,就可能暴露密钥,并改变下游代理看到或执行的内容。

较新机器人学习正在按标注、接触、时序和任务上下文来评判较早Robot VLA gains are tied to contact, timing, and action priors