趋势

编码代理需要更安全的输入、受控工具和可重复的生产路径

日 · 2026-07-08 · Software Intelligence

当天的证据集中在实际问题上:编码代理需要更安全的执行边界、更好的任务输入,以及成本更低的重复执行能力。Claude Code、Codex 和 SpellSmith 提供了安全方面的主要案例;生产实践和基准测试论文给出了具体指标。

代理安全与工具调用

当防御型代理以自动批准模式读取不受信任的代码仓库时,它可能成为恶意代码的执行路径。报告中的概念验证在修改后的 geopy 仓库中放入了看似普通的项目指南和安全脚本。Claude Code 和 Codex 检查这些文件后,将脚本判定为安全并运行了恶意二进制文件。作者报告称,在多个 Claude Code CLI 版本和 Codex CLI 0.142.4 中都可实现远程代码执行。

模型上下文协议(MCP)服务器也存在相关的工具安全问题。SpellSmith 通过在工具描述中加入安全指令,并要求模型在最终使用工具前进行反思,来应对污染式攻击。其调查在 53 份 MCP 漏洞报告中发现了 43 起污染式案例,而现有工具元数据很少包含安全指导。在 792 条恶意提示词上,报告的攻击成功率为 0.13%。

生产事件处理工作流

生产实践将成功的代理运行结果作为未来自动化的素材。渐进式结晶从经过验证的事件处理轨迹中提取工具顺序、分支条件、模式、依赖关系、参数和审批关卡。运行结果反复成功后,会先转化为混合式操作手册;通过更严格的一致性和审查检查后,再转为确定性执行。

在报告中的云网络运维部署中,经过八个月,确定性执行占比达到约 45%。最终执行构成为:确定性执行约 45%,混合式执行 30%,完全由代理编排的执行 25%。单起事件的代理成本下降超过 70%,事件量大致翻倍,平均解决时间也从数小时缩短到数分钟。

错误报告与性能测试

代理的修复结果取决于初始问题中的结构和证据。在 87 个代理尝试解决的 433 个 SWE-bench Verified 问题中,修复建议与成功之间的正相关最强,优势比为 3.61。仓库源代码、复现脚本以及注明最终补丁文件也有帮助。报告越长,修复成功的可能性越低。

基准测试质量是代码性能声明面临的另一个瓶颈。对 EffiBench、Enamel、EvalPerf 和 Mercury 中 1,538 个任务进行重新测试后发现,基准测试提供的高性能实现中,只有 94 个在原始测试中显著更快。多代理测试生成设置在此前结果不显著的任务中,约四分之一发现了额外的显著性能提升。这说明许多测试过于薄弱,无法测量运行时间收益。

生成式应用中的个性化影响

当模型接收到有关开发者的人口统计线索时,生成的软件可能发生变化。一项研究使用 ChatGPT-4.1 和 DeepSeek-V3.2 生成了 800 个网站,只改变人物名称和年龄,并覆盖不同性别和年龄组。影响出现在界面设计、模板内容和代码结构中。

在人工审查的个人网站中,照片库只出现在代表老年人的人物设定中。老年人物设定更常包含联系部分;在年轻人物设定中,年轻男性的联系部分比年轻女性更常见。配色也与人物组别相关:深蓝色大多分配给男性,粉色和紫色只出现在审查样本中的女性设定里。这一结果与根据账户历史或推断出的用户特征来个性化输出的编码助手有关。

较新可执行 harness 已开始决定 agent 的成本、可靠性和测试时增益较早机器人策略研究正集中于几何结构、生成式示范和控制延迟