来源笔记
Early Adoption of Agentic Coding Tools by GitHub Projects
摘要
本研究考察 GitHub 项目如何在项目层面采用和管理由智能体生成的拉取请求。研究覆盖 2,361 个代码仓库和 25,264 个来自 2025 年 5 月至 7 月的智能体 PR。结果显示，采用通常较为有限，主要集中在小型项目和少数高度活跃的代码仓库中，并且主要围绕单人监督展开。
问题
- 以往研究主要关注单个智能体拉取请求，对项目层面的采用、生产率和协作仍缺乏充分了解。
- 这一问题很重要，因为编码智能体的价值不仅取决于其能力，也取决于项目如何分配审查、修改和集成工作。
- 这些证据反映的是热门 GitHub 代码仓库在早期阶段的情况，并使用贡献者数量和智能体 PR 作为团队规模与生产率的操作性代理指标。
方法
- 分析 AIDev-pop 数据集，研究 2025 年 5 月至 7 月期间由 GitHub Copilot、OpenAI Codex 和 Claude Code 创建的已合并或已关闭 PR。
- 使用每个代码仓库的智能体 PR 数量，以及参与智能体 PR 工作流的代码仓库贡献者比例来衡量采用情况。
- 比较贡献者为 1–5 人的小型项目、贡献者为 6–15 人的中型项目，以及贡献者不少于 16 人的大型项目；使用 Kruskal–Wallis、Dunn 和 Cliff’s Delta 分析检验参与差异。
- 将项目层面的生产率估算为每名人类参与者对应的智能体 PR 数量，并与三个月内每名开发者 36 个 PR 的情境性参考值进行比较。
- 根据审查者和提交者的角色对 PR 进行分类，以识别单人和多人协作模式。
结果
- 数据集包含 25,264 个智能体 PR、2,361 个代码仓库和 291,866 次提交。在这三个月期间，代码仓库的中位数仅产生 1–2 个智能体 PR。
- 大多数项目的参与程度有限：998 个代码仓库（42.27%）参与智能体 PR 的贡献者比例低于 5%，1,657 个（70.18%）低于 20%，1,776 个（75.22%）低于 30%。
- 小型项目平均每个代码仓库产生 50.2 个智能体 PR，中型项目为 5.6 个，大型项目为 6.7 个；不过，各组分布高度偏斜，典型代码仓库的活动水平仍然较低。
- 不同项目规模组之间的参与比例存在显著差异（Kruskal–Wallis H=1211.79，p<0.001，eta-squared=0.6157）；所有成对比较均达到显著水平，且 Cliff’s Delta 效应量较大。
- 在 2,361 个项目中，只有 25 个（1%）在三个月内达到每名人类参与者 36 个智能体 PR 的情境性基准，表明项目层面的高活跃度十分少见。
- 单人监督占主导地位：在 19,488 个 PR（78.9%）中，同一人既审查又修改了智能体的贡献；总体而言，单人工作流占 88.7%，而涉及至少两名人类参与者的 PR 占 11.3%。