编码代理采用现在需要围绕运行时循环做具体工作:在完成前强制执行重复的用户纠正,在同一评分契约下比较代理 harness,并在代理编辑文件前为其提供既往修复和失败尝试的本地记录。

3 个想法

面向重复编码代理纠正的完成前验证器

使用编码代理的团队可以为反复出现的用户纠正添加一个小型强制执行层:从聊天历史中提取持久规则,附上适用性检查,并在代理将任务标记为完成前运行验证器。最先有用的规则通常是开发者已经反复提出的普通规则,例如清理临时调试文件、修改状态前先询问、避免使用被禁止的命令,或在提出补丁前运行必需测试。

Trace 给出了一个具体模式。它把用户纠正改写为原子规则,将这些规则与每个用户的规则库进行匹配,并把每条规则编译成适用性检查、指令和验证器。在报告的诊断集中,Mem0 仍然违反了 57.5% 的适用偏好检查。在 ClawArena 上,Trace 将留出偏好违规率从 100.0% 降至分布内的 37.6%,分布外降至 2.0%。

一个实用试点可以从最近 20 份编码代理记录开始,选出用户最常重复的五条纠正,并把它们实现为代理完成步骤中的阻塞检查。衡量方式很简单:统计这五条纠正在留出任务中被违反的频率,以及代理需要多少额外用户轮次。

用于选择编码代理的固定 harness 评估运行

比较编码代理的工程团队应把 harness 当作产品组件来测试,并固定任务集、提示模板、Docker 工作区、挂钟时间预算、补丁提取、预测格式、评估器、API 成本和挂钟时间。这对采购和内部采用有用,因为即使基础模型不变,代理结果也可能随适配器和执行契约而变化。

Claw-SWE-Bench 展示了这种影响的规模。在其 350 个实例的多语言基准上,使用最小 direct-diff 适配器的 OpenClaw 达到 19.1% Pass@1,而使用完整适配器、同一 GLM 5.1 模型时达到 73.4%。在多轮扫描中,在固定模型下,harness 选择使 Pass@1 最多变化 27.4 个百分点。Lite-80 子集与完整基准的结果接近,成本约为完整运行的 22.9%,因此重复做 harness 检查更可行。

评估两三个编码代理产品的团队可以借用这个结构,不必采用整个基准。选择一小组内部问题修复任务,要求每个系统在相同超时和工具权限下返回仓库 diff,并在通过率旁报告总 token、缓存读取、挂钟时间和补丁提取失败案例。

带编辑预检查的编码代理本地项目事件日志

仓库团队可以在编码代理编辑文件前提供本地事件日志,以减少重复调试循环。可用的最低配置是一份只追加的问题、尝试、修复、决策和备注记录,再加上文件编辑前的预检查,用来警告与该路径相关的既往失败修复、未解决问题或脆弱文件。

PROJECTMEM 是这一模式的具体实现。它存储纯文本类型化事件,以确定性方式重建紧凑的 AI 可读摘要,通过 MCP 和 CLI 工具暴露这些摘要,并在编辑前包含 precheck_file(path)。论文估计,重建项目上下文每个会话可能消耗 5,000 到 20,000 个 token,并报告已发布的 Python 包包含 14 个 MCP 工具、19 条 CLI 命令和 37 个自动化测试。它的评估是跨 10 个项目、为期两个月的自我研究,因此任务成功率主张仍需要受控检查。

一个低成本采用测试是在一个维护负担较重的仓库中加入该日志,运行两周。跟踪代理重复失败修复的频率、会话开始时重新读取上下文花费的 token 数,以及预检查警告阻止编辑已知高风险文件的频率。