趋势

工具编排选择会改变智能体得分、工具习惯和安全结果

日 · 2026-07-15 · Software Intelligence

近期关于工程化上下文和可执行检查的证据,正在工具编排框架层面变得更加具体。今天的研究表明,交互协议会改变基准得分,持久会话可能使智能体固守过时的工具使用流程,而有针对性的探索可以改善安全分析。部署仍不成熟:观察到的编码智能体使用并不普遍,而且通常由一个人监督。

依赖工具编排框架的评估

AgentCompass 将基准、工具编排框架和执行环境分离开来,并显示同一模型的结果会随工具编排框架而变化。在 SWE-bench-Pro 上,Claude-Opus-4.8 使用 Mini-SWE-agent 得分 66.21,使用 OpenHands 得分 73.87。另一项集合转换基准发现,智能体会很快形成重复的工具使用流程,并可能在后端静默更换后继续使用不可靠的工具组。这些研究共同表明,交互历史和工具编排配置应被视为测量能力的一部分,而不是无关紧要的测试基础设施。

面向软件安全的针对性证据

当探索由具体假设驱动时,安全智能体能获得更好的效果。DREA 的规划器向轻量级探索器请求仓库证据;DeepSeek-V3.2 的成对正确率从 19% 提升到 42%,同时超过 93% 的 token 在本地处理。ProfMalPlus 也会将不确定的软件包判断路由到静态、注册表或沙箱证据,并报告 98.1% 的 F1 和 597 个新识别的恶意 NPM 软件包。VisualRepair 将同样的选择性关注原则应用于截图,解决了 SWE-bench Multimodal 测试中的 196 个问题,比其最佳基线多 10 个。共同结果是有条件的:更聚焦的证据收集确有帮助,但 DREA 仍发现 26–55% 的真正例背后存在有缺陷的推理依据。

早期运营治理

现实世界的采用仍以人工监督为中心。在 2,361 个 GitHub 仓库中,项目中位数在三个月内仅产生一到两个智能体拉取请求;单人工作流占观察案例的 88.7%。在这一有限的部署基础上,治理方案也开始出现。EBAE 通过针对具体操作、绑定时间周期的授权,将智能体提案与受保护的执行分离;DNSid 则将智能体身份与互联网域名和加密注册记录关联起来。两种机制的验证仍然有限:EBAE 没有提供定量评估,DNSid 报告了未具名的试验,但没有给出结果。

较新机器人策略保留预训练知识,并将恢复任务交给轻量级控制层较早VLA 部署工作同时针对延迟、连续性和稀缺交互数据