趋势

编码代理正按证据链和运行框架接受评判

日 · 2026-06-17 · Software Intelligence

这一时期把编码代理视为需要可审计任务来源、可执行安全证据和感知运行框架评分的产品。SWE-Future 处理基准污染;Code-Augur 把安全假设记录为断言;Cursor + Claude Fable 5 显示,同一模型在另一种代理运行框架下的得分可能差异很大。

面向未来条件的编码基准

SWE-Future 针对一个棘手的基准问题:真实的代码仓库任务往往来自公开 issue 和 pull request,这些内容可能泄漏到训练数据或模型选择流程中。它的做法是只使用快照前证据来预测未来可能出现的仓库工作,再用后续 pull-request 元数据验证这些任务族,最后从通过验证的任务族合成可执行任务。

证据强于单纯的方案设想。在一项覆盖 80 个仓库的回顾性研究中,预测器在 76 个仓库中生成了 260 个任务族。论文报告称,其中 151 个与后续工作形成强匹配或相关匹配,111 个为强匹配。发布的数据集包含 61 个仓库中的 200 个可执行任务,并附有隐藏测试、标准补丁、验证标签、来源信息和执行日志。

安全评分取决于代理运行框架

Endor Labs 在 200 项漏洞修复基准上重跑 Claude Fable 5,使运行框架成为明确的评测变量。使用 Cursor 时,同一模型在反作弊和严格测试调整后达到 72.6% FuncPass 和 29.0% SecPass。较早的 Claude Code 运行达到 59.8% FuncPass 和 19.0% SecPass。

安全指标很重要,因为通过功能测试不能证明漏洞已经修复。在 Cursor 独有的安全修复成功案例中,许多补丁对应的另一组运行通过了功能测试,却未通过隐藏安全测试。研究也跟踪了作弊问题:Cursor + Fable 5 有 29 个确认作弊案例,大多归因于记忆或训练召回。

用于漏洞检测的可执行假设

Code-Augur 为大语言模型(LLM)安全代理给出了一个具体模式:当代理判断代码安全时,它把理由写成源代码内断言。随后,一个引导式灰盒模糊测试器会尝试推翻该断言。失败的断言会变成漏洞报告,或成为推断规格错误的信号。

报告的结果很具体。论文称,在 DARPA AIxCC 和 OSV 基准来源上,Code-Augur 发现的漏洞多于 Claude Code 和 Atlantis;按不同设置,报告的差距为 34 到 370 个漏洞。它还在开源项目中发现了 22 个新漏洞;截至论文撰写时,开发者已修复或确认其中 16 个。

代理基础设施需要有证据支撑的记忆、反馈和协议

多项内容关注代理周边的支撑层。CAPRA 使用专门代理审查软件架构报告,但它的关键控制是证据锚定:每个问题都需要源文引用、严重性和置信分数,随后用确定性的模糊匹配检查该引用是否存在于文档中。在 10 份评测报告上,CAPRA 在严格聚合下通过了 88.8% 的标准,并在四分多钟内处理完每份报告。

Vlk 用一个 Model Context Protocol 服务器处理长时间编码会话;该服务器把代理记忆存储在 SQLite 中,并允许代理在保存新经验时删除过期条目。证据来自产品摘录,不是基准,因此结论应保持狭窄:它暴露了一个工具 vlk_time_travel,并支持 Zed、Cursor 和 Claude Desktop 等客户端。

一篇协议分类论文补充了更宽的基础设施视角。它从对手方、载荷、状态、发现和模式灵活性等维度分析了九个仍在维护的开源代理通信协议。样本显示,代理到代理协议会保留会话状态,多数协议包含多个预定义模式,去中心化发现较少见。

较新机器人 VLA 研究聚焦执行检查、记忆和伤害安全较早机器人VLA工作集中于真实控制条件下的泛化