来源笔记
Toward Instructions-as-Code: Understanding the Impact of Instruction Files on Agentic Pull Requests
摘要
这篇论文研究指令文件是否能提升由 AI 生成的拉取请求，结果显示，在 148 个项目和 15,549 个 Agentic-PR 中，影响并不一致。合并结果更好的项目往往有更长、结构更清晰的指令文件。
问题
- 软件团队会为编码代理编写指令文件，但这些文件是否真的能提高拉取请求的成功率和合并成本，还不清楚。
- 论文关注指令文件是否会改变 agentic 拉取请求的合并率、任务复杂度、合并时间和讨论量。
- 这很重要，因为团队把代理当作协作者，指令质量可能影响它们在仓库里的表现。
方法
- 作者分析了 AIDev 数据集中的 148 个 GitHub 项目、15,549 个 agentic 拉取请求。
- 他们把每个项目分成首次出现指令文件前后两个阶段；如果有多个指令文件，也会比较第一个文件之前和最后一个文件之后的阶段。
- 他们用合并率衡量成功，用描述长度、代码变动量、修改文件数和提交数衡量任务复杂度，用评论数和合并时间衡量合并成本。
- 对复杂度和成本的比较，他们使用了 Mann-Whitney U 检验和 Cliff’s delta。
- 他们还比较了合并率上升和下降项目的指令文件长度与标题结构。
结果
- 在首次加入指令文件后，27.7% 的项目合并率至少提高了 20%，26.35% 的项目至少下降了 20%。
- 在加入全部指令文件后，31.93% 的项目合并率至少提高了 20%，27.73% 的项目至少下降了 20%。
- 在任务复杂度上，首次加入指令文件后，35.35% 的项目在描述长度上出现统计显著增加，10.10% 在代码变动量上增加，12.12% 在提交数上增加，8.08% 在变更文件数上增加；也有较小比例出现下降，其中描述长度下降的占 4.04%，代码变动量和提交数下降的都占 7.07%。
- 在合并成本上，13.13% 的项目合并时间显著增加，15.15% 的项目讨论量显著增加，8.8% 的项目这两个指标都下降。
- 合并率至少提高 20% 的项目，其指令文件更长，中位数为 976 个词；合并率至少下降 20% 的项目中位数为 569 个词。这些项目的 H1、H2 和 H3 标题也更多。
- 论文没有声称所有项目都会受益；它的结论是，指令文件对一些项目有帮助，对另一些项目有负面影响，而且结构更好的文件往往对应更好的合并结果。