面向 AI 生成拉取请求的代码仓库感知审查循环
接收 AI 生成拉取请求的团队,可以增加一轮自动化审查,并要求它满足与人工审查者相同的最低证据标准:检查代码仓库、运行命令、决定批准或要求修改,并给出具体的修复指导。SWE-Review 为这种工作流提供了可行的形式。它的审查者接收代码仓库检出内容、问题描述和 AI 生成的 PR,然后给出合并决定以及修改诊断。
实际要处理的是这样一种 PR:差异内容看起来合理,但问题仍未在代码库的其他位置得到解决。在 SWE-Review 中,迭代式的生成、审查、修改流程将 Qwen3-30B-A3B PR 的 SWE-bench Verified 解决率从 27.5% 提高到 56.9%,将 Qwen3-Coder-30B-A3B PR 的解决率从 50.9% 提高到 68.8%。一项成本较低的内部测试可以在最近 50 个需要人工返工的 AI PR 上运行这一循环,然后比较三个数字:正确拒绝率、被接受的不良 PR 数量,以及审查后修复率。
资料来源
- Document 1788