代码代理工作现在已有足够证据支持更窄的采用门禁:接受代理拉取请求前要求可运行的设置和测试证明;信任排行榜数字前审计评测工具链中的分数利用;漏洞修复中使用成对的崩溃和安全执行。共同的运维需求是一份记录,说明运行了什么、什么失败了、改了什么,以及可用权限有哪些。

3 个想法

要求设置日志、生成测试和通过运行证据的代理拉取请求检查

试点代码代理的工程团队可以为代理编写的拉取请求增加一道 CI 门禁:代理必须给出仓库设置步骤、它编写或选择的验证测试,以及证明补丁已通过的准确命令输出。如果环境由人工预先构建、缺少测试,或代理在部分修复后停止,门禁应失败。

SWE-Cycle 为这个流程提供了具体模板。它把环境重建、代码实现和验证测试生成分开,然后在一个空白仓库中测试 FullCycle 运行。报告中的 FullCycle 解决率低于 14%,即使单独的设置和测试生成分数高得多也是如此。这直接提醒团队,不应在狭窄的单元测试通过后就接受代码代理输出。SaaSBench 补充了全栈场景:超过 95% 的失败发生在深入业务逻辑之前,主要集中在设置、集成、过早停止和反复调试循环。一个实用的试点可以从十个内部缺陷工单开始,并衡量每次代理运行在这些相同阶段中的失败位置。

包含利用审计和逐次运行 rollout 记录的基准发布检查

发布代理分数的团队应对基准测试工具链运行奖励黑客审计,并为计分运行附上 rollout 记录。审计应梳理任务文件、评分代码、环境边界和权限,然后在基准用于模型选择前尝试构造一个最大化分数的利用。rollout 记录应包括任务状态、观测、模型输出、工具调用、工具结果、产物、时间、终端状态、失败情况,以及用于计算分数的报告规则。

BenchJack 说明了为什么这应纳入发布流程。它在全部 10 个被审计基准上生成了可用的奖励黑客利用,并发现 219 个不同缺陷。在四个设计可修复的基准上,反复审计和修补把可被利用的任务比例从接近 100% 降到 10% 以下。Rollout Cards 覆盖了轨迹记录侧:对 50 个热门仓库的审计发现,没有一个在主要分数之外报告失败、出错或跳过的 rollout;对固定产物重新评分使报告分数最多变化 20.9 个百分点。

在打补丁前比较崩溃和安全执行的漏洞修复运行

安全工程团队可以调整自动化漏洞修复运行,让代理先创建相近的概念验证变体,区分崩溃和非崩溃执行,并记录故障点附近的状态探针。补丁步骤应从一份修复规范开始,其中写明源码位置和安全条件;只有在编译通过,并在原始输入和变异后的崩溃输入上重新执行通过后,才接受变更。

ContraFix 是这个循环的具体例子。它的 Analyzer 比较成对执行中的运行时状态,然后 Patcher 把推断出的安全条件转成源码编辑。该系统还存储已验证的修复规范和变异策略,用于后续案例。报告结果足以支持在反复出现的漏洞类别上进行小规模内部测试:SEC-Bench 上解决率为 84.0%,PatchEval 上为 73.8%;消融实验把 27.0 个百分点的增益归因于对比式运行时分析,把 9.0 个百分点的增益归因于技能积累。