生成的问题测试的突变检查
使用编码代理写测试的团队,可以在这些测试影响补丁批准、基准分数或修复代理训练之前,加一道小型突变检查。生成的测试套件应该对原始 bug 失败,对修复通过,并能抓住由修复派生出的几个语义上合理的错误变体。
SWE-Mutation 说明了这道检查有用的原因。DeepSeek-V3.1 搭配 Mini-Swe-Agent 在 Python 测试生成上达到 88.20% 的 Pass@1,但验证率只有 10.20%,突变体检测率只有 36.15%。这些测试文件能运行,但很多并没有证明报告的问题,也没有抓住附近的错误修复。一个成本不高的试点做法,是选取最近修复过的问题,每个修复生成 3 到 5 个突变体,并在 CI 或评估运行里把 VRR 和 RDR 与 Pass@1 一起跟踪。