趋势

编码智能体需要轨迹、gate 和范围化记忆来赢得信任

周 · 2026-W25 · Software Intelligence

本周的大语言模型(LLM)智能体工作把自主性当作证据问题处理。最有力的声明把任务成功与轨迹、可执行测试、范围化权限和有来源支撑的记忆配对。ProcGrep、SWE-Future 和 Machine Studying 显示了当前重点:根据智能体做了什么、知道什么,以及哪些检查成立来评判它们。

轨迹级智能体评估

智能体评估正在更偏向可操作的证据。ProcGrep 将编码智能体轨迹转换为文件读取、仓库搜索、编辑、测试和提交等动作序列。在 SWE-bench Verified 轨迹上,它的过程指纹能以 85.7% 的准确率把未见过的轨迹归因到正确智能体;在报告的 episodic-search 任务中,它的确定性轨迹搜索优于 LLM 裁判。

SWE-Future 处理另一个评估弱点:公开 GitHub issue 和 pull request 的重放。它根据快照前证据预测未来仓库任务族,用后续 pull-request 元数据验证这些任务族,再合成可执行任务。每日趋势证据还给出一个实际提醒:同一模型在另一个智能体 harness 下可能得到不同分数,因此基准声明需要说明所用 harness。

用于修复和仓库指导的失败证据

修复工作正在用运行时证据让智能体编辑更容易判断。PRACREPAIR 将执行轨迹和验证轨迹 diff 加入自动程序修复。它报告称,使用 GPT-4o 时在 Defects4J V1.2 上得到 162 个正确修复,在 V2.0 上得到 171 个正确修复,并让补丁精炼继续绑定到诊断信息,而不只依赖通过/失败反馈。

仓库指导也在用失败案例测试。Probe-and-Refine 生成合成 bug 修复探针,诊断指导失效的位置,并编辑紧凑的仓库说明。在 500 个 SWE-bench Verified 实例上,它报告的平均解决率为 33.0%,相比之下静态知识库为 28.3%,无上下文为 25.5%。收益主要来自智能体更常产出可评估补丁。

执行控制和有来源支撑的记忆

工具工作把智能体动作视为需要托管和追踪的对象。GlueRun-go 在独立 Git worktree 中运行并行编码智能体,分配 JSON lease,记录状态包,并把 gate 结果送入审计和恢复路径。它的公开证据偏工程实践,包括回归测试和更快崩溃检测的声明,而不是标准基准结果。

记忆系统正在加入明确来源和缺口报告。Vitrus 用 Markdown 存储公司知识,回答时给出引用,并报告过期、无支持、矛盾或缺失的信息。它的 API 检查会在调用运行前验证端点名称、参数、类型和权限。报告的评估大多是项目 gate 和受控测试,因此更有力的主张是设计纪律,而不是广泛泛化。

语料专长作为智能体基准

Machine Studying 提出一个困难的评估问题:智能体能否在考试前阅读新语料,并把它转化为可用专长?StudyBench 在 DSPy 代码、OpenClaw 代码和近期机器学习文献上测试这一点。该指标奖励在较低推理 token 预算下的准确率,因此会惩罚暴力搜索。

早期结果提醒人们不要把搜索、长上下文或简单微调视为充分条件。在 DSPy 上,强制 Qwen3.5-9B 使用 20 次搜索迭代,会把宽松分数从 9.6 提高到 29.4;这说明证据可以已经存在,但仍未被充分使用。在 OpenClaw 上,即使增加搜索,两个前沿模型也仍然只略高于 10%。这个问题正变得与编码智能体相关,因为它们必须在不熟悉的代码库和私有文档中工作。

较新机器人 VLA 研究正在用真实控制失效模式来评判较早智能体工作正通过学习测试、边界检查和本地收据接受评估