在代理写测试补丁前先做受影响测试搜索
使用代理更新生产变更后的测试时,应先加一个单独的受影响测试发现步骤,再让代理修改测试套件。这个步骤应要求给出三份列表:预计会失败的测试、仍然通过但需要语义更新的测试、以及需要新增测试的行为。审阅者可以把这份列表和依赖追踪、最近的覆盖率、已变更的公共 API、以及仓库搜索结果对照后,再接受生成的补丁。
TEBench 说明了为什么这一步要放在生成补丁之前。使用 Claude Code、Codex CLI 和 OpenCode 的七种配置里,受影响测试识别的 F1 只有 45.7% 到 49.4%。过时测试最难,平均 F1 约为 36%,因为代理会跟着执行失败走,却漏掉那些已经通过、但不再检查变更后行为的测试。ProCodeBench 提供了相关信号:仓库上下文能提升对真实 VS Code 轨迹的意图预测,而模拟轨迹会高估性能。一个成本不高的内部检查是抽样最近的生产提交,让代理给出受影响测试清单,再让维护者在衡量生成补丁质量之前,先给漏掉的过时测试和缺失测试案例打分。