趋势

编码智能体正被作为受控生产软件来评判

周 · 2026-W26 · Software Intelligence

本周的研究把大型语言模型(LLM)智能体视为生产软件。最有力的工作把任务成功与上下文恢复、产物交付、成本核算、权限边界和凭据安全联系起来。DeepDiscovery、EnterpriseClawBench 和 Rel(AI)Build 提供了最清晰的证据。

仓库上下文与工作场景交付

智能体评估正在转向决定工作能否交付的条件:正确文件、可用产物、保留的状态和可度量成本。DeepDiscovery 显示,仓库任务需要贯通代码、配置、测试和组织结构的上下文。其报告的 SWE-bench Verified 解题率达到 78.6%,比基线高 8.2 个百分点。

EnterpriseClawBench 补充了工作场景证据。它把真实企业会话转成 852 个可复现任务,包含夹具、交付物、硬性规则、轨迹、运行时间、token 使用量和成本。经过审计的 Lite 集最佳结果为 0.663,产物质量和交付仍有很大提升空间。开源普查提供了规模证据:超过 1.8 亿个仓库中的智能体轨迹需要多种检测信号,因为拉取请求、提交、作者模式和配置文件覆盖的是不同群体。

成本感知编排与恢复测试

本周的基准研究关注智能体能否在执行过程中管理不确定性。贝叶斯控制把编码智能体编排视为围绕候选程序正确性的决策问题。它保留后验信念,并在评估器、重新生成、验证和停止之间选择。最明确的收益出现在低先验、高验证器成本的设置中,此时低成本评估器能提供有用信号。

ToolBench-X 和 CodeChat-Eval 暴露了两类常见失败模式。ToolBench-X 在 1,106 个可执行任务和 4,956 个工具中注入可恢复的工具风险;没有被评估的模型达到 0.60 的总体准确率。CodeChat-Eval 测试十轮代码细化,并发现后续编辑后功能正确性下降 19.2% 到 69.2%,具体取决于模型。这些结果把回归保持和恢复选择变成核心评估目标。

安全、权限和凭据边界

安全证据已经扩展到生成片段之外。VibeApps 研究收集了 10,517 个主要由 AI 构建的应用,并在 200 个已部署 Web 应用的随机样本中验证了 1,471 个可利用漏洞。反复出现的问题包括访问控制失效、密码学失败、注入、密钥暴露、占位逻辑和未过滤输入。

Rel(AI)Build 把智能体提示词、权限和工作流状态作为受管理的产物。在 10,008 个公开仓库中,它发现了 6,145 个智能体配置文件;经过 fork 调整后,10.1% 的被跟踪配置路径是完全重复项,声明权限边界的不到 1%。DevFortress 提供了围绕凭据的事件级证据:引用数字包括 2025 年公共 GitHub 上暴露的 2,860 万个新密钥,以及 MCP 配置文件中发现的 24,008 个唯一密钥。产品声明的测试少于事件证据,但风险模式很具体。

较新机器人 VLA 可靠性正在用 rollout、标定和安全成本来衡量较早代理产品正在围绕有边界的访问和可见监督展开