要求设置日志、生成测试和通过运行证据的代理拉取请求检查
试点代码代理的工程团队可以为代理编写的拉取请求增加一道 CI 门禁:代理必须给出仓库设置步骤、它编写或选择的验证测试,以及证明补丁已通过的准确命令输出。如果环境由人工预先构建、缺少测试,或代理在部分修复后停止,门禁应失败。
SWE-Cycle 为这个流程提供了具体模板。它把环境重建、代码实现和验证测试生成分开,然后在一个空白仓库中测试 FullCycle 运行。报告中的 FullCycle 解决率低于 14%,即使单独的设置和测试生成分数高得多也是如此。这直接提醒团队,不应在狭窄的单元测试通过后就接受代码代理输出。SaaSBench 补充了全栈场景:超过 95% 的失败发生在深入业务逻辑之前,主要集中在设置、集成、过早停止和反复调试循环。一个实用的试点可以从十个内部缺陷工单开始,并衡量每次代理运行在这些相同阶段中的失败位置。