趋势

编码智能体需要证据链、预算和更安全的工具访问

日 · 2026-07-01 · Software Intelligence

最有力的工作把编码智能体当作运行中的系统来评估。SWE-Doctor 用失败测试作为探针,Microsoft 遥测数据把命令行智能体与更高的 pull request 输出联系起来,Claude Desktop 红队报告则显示同步偏好设置如何变成工作站风险。当前重点是可衡量的行为、成本和控制。

代码修复的运行时证据

SWE-Doctor 给出了最清楚的基准测试结果。它把缺陷复现测试(BRT)变成补丁生成前的调试探针,把一个 issue 拆成多个行为侧面,并在让智能体修改代码前记录运行时诊断。论文报告的平均结果是 SWE-bench Verified 上 75.7%,SWE-bench Pro 上 59.4%;在 SWE-bench Pro 上比基线智能体高 8.0 到 8.9 个百分点。

验证和研究自动化也在要求执行证据。Soteria 工作用符号执行轨迹训练 Qwen3-8B,并报告当轨迹训练与逐步推理结合时,违规检测提升 17.9 个百分点。Auto-FL-Research 把类似约束用于联邦学习:智能体可以编辑训练方案,而任务配置会锁定数据、指标、通信契约、预算和最终评估路径。

企业推出和 token 经济性

Microsoft 的现场研究提供了大型公司内部命令行界面(CLI)编码智能体的少见遥测数据。社交接触可以预测试用,既有编码活动可以预测留存,采用者合并的 pull request 比估计的反事实多约 24%。论文明确说明,已合并 PR 只是价值的代理指标;当 token 账单达到大型公司规模时,这一点很关键。

成本控制现在也是采用证据的一部分。Meta 报告称,员工在约 30 天内消耗了 73.7 万亿个 token,这推动了集中式仪表盘、支出提醒和计划中的 token 预算。关于可治理智能体工程的案例研究补充了开发者层面的视角:一名工程师很快产出了一个大型系统,但能长期发挥作用的工作是测试、lint、验证器、关卡、架构改动和智能体指令,这些让输出保持可检查。

工具表面和工作站风险

智能体运行时正在围绕文件、shell、Web、Model Context Protocol(MCP)、技能和同级智能体连接扩展。Toolnexus 展示了这种产品模式:一个 Python 工具包可以加载 MCP 服务器、本地技能、Python 函数、HTTP 端点、内置 shell 和文件工具,以及智能体到智能体卡片。它报告的是包功能,不是可靠性或安全性基准。

Claude Desktop 红队报告说明了这些表面为什么需要账户控制和本地执行控制。Pentera Labs 描述了一条远程代码执行(RCE)路径:被攻破的 Claude 账户修改了同步偏好设置,本地桌面会话随后读取这些设置。该路径依赖已安装 Claude Desktop,并依赖具备命令能力的工具或用户安装的连接器。报告没有给出成功率指标,但指出了一个具体边界:同步的个人指令可以触达有工作站访问权限的本地工具。

智能体技能质量和所有权边界

智能体技能正在变成带版本的软件制品,质量参差不齐。SKILL.md 研究分析了来自一个更大公开转储的 238 个文件,定义了 13 个高层内容组件和 44 个低层内容组件,并归纳出 26 类编写违规。研究报告称,抽样的 SKILL.md 文件中超过 99% 至少有一个 smell,而且 smell 会随时间持续存在。

管理侧也开始被具体化。风险架构论文认为,必须为工具契约、因果行动链和跨团队边界指定负责人。它的证据是合成的,而不是观测到的团队行为,所以其论断弱于 Microsoft 的遥测数据。它的实践要点仍然具体:当概率性输出进入确定性系统时,智能体会制造普通组件所有权和测试覆盖可能漏掉的故障。

较新机器人学习论文让 VLA 策略承受执行压力较早Antigravity 案例研究更看重可复用编码技能,而非一次性应用生成