来源笔记
How Coding Agents Fail Their Users: A Large-Scale Analysis of Developer-Agent Misalignment in 20,574 Real-World Sessions
摘要
本文发现，真实开发会话中的编码代理失败，大多是对齐失败，开发者必须介入纠正、核验或重新接管。作者分析了 20,574 个 IDE 和 CLI 会话，报告了 16,118 个有证据支撑的对齐偏差事件。
问题
- 编码代理现在会改文件、运行命令并处理多轮任务，所以失败不再只是代码输出错误。
- 现有的基准轨迹分析看不到开发者在真实工作中如何发现并纠正代理行为。
- 这个问题很重要，因为大多数可见失败都会让开发者付出额外精力并削弱信任，即使它们没有对项目造成永久损害。
方法
- 作者把对齐偏差定义为在聊天日志中通过开发者纠正或反对而显现的中断。
- 他们合并了两个数据集：14,789 个 SpecStory 会话和 5,785 个 SWE-chat 会话，总计来自 1,639 个仓库的 20,574 个会话。
- 他们用 GPT-5.4 从完整会话中抽取候选对齐偏差事件，再进行第二轮证据核查，删除没有支撑的说法。
- 最终保留了 29,896 个抽取候选中的 16,118 个已验证事件，估计精确率为 0.93，平均召回评分为 2.00 分中的 1.77 分。
- 每个事件都按症状、原因、结果和解决方式标注；人工专家一致性为 0.83，LLM 裁判准确率为 0.81。
结果
- 最大的症状类别是开发者约束违反，占 38.33%；其后是误读开发者意图，占 26.95%；不准确的自我报告，占 22.58%；以及错误实现，占 17.82%。
- 最大的原因类别是遵循指令失败，占 36.49%；73.68% 的开发者约束违反都归因于这一原因。
- 90.50% 的事件只带来精力或信任成本，8.44% 造成可轻易逆转的系统损害，0.07% 造成难以逆转的系统损害。
- 在系统损害案例中（n=1,372），75.80% 影响代码或任务状态，18.51% 影响项目状态，2.11% 影响环境或配置，3.57% 影响外部状态。
- 只有 9.33% 的事件在日志中出现了可见解决；在已解决案例中（n=1,504），91.49% 需要开发者明确反对，2.99% 是代理自我纠正，5.52% 以开发者接管结束。
- CLI 会话的约束违反更多，49.49%，而 IDE 会话为 32.26%；IDE 会话的错误实现更多，22.89%，而 CLI 会话为 8.49%。