研究想法

编码智能体规划、重新生成与审查中的验证调整

日 · 2026-07-14 · Software Intelligence

编码智能体工作流应将验证预算用于证据不完整的地方:向审查者公开行为和状态转换,使用现有测试套件之外的反例测试依赖替代实现,并要求多个智能体检查同一修复时提供彼此不同的诊断证据。

3 个想法

面向智能体 harness 变更的行为关联审查材料

审查智能体 harness 变更的维护者应收到一份生成式材料,其中列出受影响的运行时行为、源代码位置、共享状态转换,以及实际覆盖这些行为的检查。Harness Handbook 表明,以行为为中心的导航可以改善定位和范围控制,尤其适用于分散且很少执行的路径;大规模观察性审查研究则显示,更快的智能体参与可能伴随更多审查异味。实际做法是按受影响的行为而不是文件归属来分配审查,并在定位器过时、状态转换缺少检查或验证失败时,让快速审查扩大范围。可以在历史 harness pull request 上,将这类材料与普通的智能体摘要进行对比试点,衡量遗漏的实现位置和审查者修正次数,而不只是审批时间。

用于依赖重新生成的反例契约

评估本地重新生成的依赖项时,供应链工程师需要针对仓库当前测试套件从未覆盖的预期行为补充测试。面向用例的重新生成保留了 99.8% 的已观察验证行为,但失败案例包括边界情况、类标识和深层框架集成;因此,通过现有检查只能界定已观察到的边界。在替换之前,工程师可以将简短的行为断言转换为多个可执行契约,同时保留可能有效和可能无效的解释,并在这些解释不一致时使用区分性输入请求澄清——这正是 Monty 评估的歧义处理模式。成本最低的检查,是针对原始软件包和替代实现重放已知的依赖边界情况及变异生成的反例;在移除依赖之前,二者出现不一致就说明替代实现可能不安全,或预期用法尚未明确。

面向自动化修复的证据分区式智能体审查

审查自动生成的缺陷修复时,团队应让不同智能体分别处理不同证据,而不是让多个智能体重复审查同一份差异。CT-Repair 的静态、动态和混合诊断合计修复的 Defects4J 缺陷数,比最强的单一视角多 99 个;与此同时,审查研究发现,多智能体参与虽然更快,但通常比仅由人类进行的审查具有更高的质量风险。因此,修复流水线应要求每位审查者提交一个根因判断,并将其关联到不同的静态、运行时或综合证据;随后合并重复假设,只将未解决的分歧——而不是完整的评论流——发送给人类维护者。可以在植入缺陷上,将这种方式与相同预算的同质审查者进行比较,统计独立有效发现的数量、漏出的回归问题以及审查时长。