来源笔记
Will artificial intelligence soon escape human control?
摘要
这段节选认为，AI 编码代理可能为递归自我改进打开一条路径，文中用 Anthropic 的 Claude Code 作为主要例子。问题在于，帮忙写软件的 AI 系统也可能帮忙构建未来的 AI 系统，从而带来控制和治理方面的担忧。
问题
- 这个问题是，随着 AI 接手更多软件工程工作，它们是否会变得更难被人类控制。
- 这之所以重要，是因为软件代理会影响 AI 工具、基础设施，以及可能用于监督这些系统的系统的生产。
- 这段文字把递归自我改进当作核心风险：AI 帮助改进的工具，日后又可能帮助改进 AI 本身。
方法
- 文中描述的机制是 AI 辅助软件生产：Claude Code 为人类开发者以及 Anthropic 自己的工程工作写代码。
- 简单说，一个编码代理接收软件任务，生成或修改代码，并进入开发流程。
- 可能形成的反馈回路是，AI 编码代理帮助产出更多 AI 公司使用的代码，从而加快未来的 AI 开发。
- 这段文字没有描述正式模型、训练方法、基准测试流程或控制技术。
结果
- Anthropic 说，它在 5 月发布的代码中，超过五分之四是 Claude 写的。
- 在 Claude Code 发布前，Anthropic 说，由 Claude 写的已发布代码占比还只有个位数低位。
- Claude Code 于 2025 年 2 月发布，所以这一变化是在几个月内发生的。
- 这段文字说 Claude 受程序员欢迎，用户也愿意为访问权限支付高额费用，但没有给出收入、用户数或留存指标。
- 这段文字没有给出受控实验、基准分数或安全评估结果。