研究想法

编程智能体发布门禁

周 · 2026-W26 · Software Intelligence

编程智能体工作正在进入与其他生产软件相同的评审路径:代码库上下文必须被衡量,智能体配置需要负责人和权限检查,评估需要覆盖后续编辑、工具故障、制品交付、运行时间和成本。

3 个想法

面向编程智能体配置文件的 CI 检查

使用 Claude Code、Cursor、Copilot instructions、Aider、Codex 或 Windsurf 的团队,应把智能体规则文件当作需要评审的代码库制品。一个小型 CI 作业可以扫描已知配置路径,要求指定负责人,拒绝明文密钥,要求声明权限层级,并记录已批准提示词或规则文件的哈希。同一个作业还可以标记跨代码库复制的配置,让安全和平台团队知道某个过期指令文件何时已经扩散到多个项目。

Rel(AI)Build 给出了一个具体做法:SHA-256 内容寻址、带 HMAC 标记的 lockfile、哈希链审计日志、工具调用前权限检查,以及把一个规范 Markdown+YAML 定义编译到多个 IDE 目标。它的公开代码库研究在 10,008 个代码库中发现了 6,145 个智能体配置文件;按 fork 调整后,10.1% 的跟踪路径是完全重复项,声明权限边界的文件少于 1%。这个运行检查成本很低:扫描公司代码库中的智能体配置文件,统计单次提交文件和重复文件,然后阻止那些在没有负责人和权限边界的情况下授予宽泛 shell 或写入访问权的配置。

编程智能体上线前的代码库上下文召回测试

开发者工具团队可以先测试编程智能体是否能找到人工评审者预期的文件,再允许它编辑大型服务。测试集应包含答案依赖实现文件、注册代码、依赖注入、配置、测试和跨模块约束的任务。每个任务都需要一组相关文件的黄金集合,并需要一个 full recall 分数,因为智能体可能漏掉真正绑定行为的文件后仍生成看似合理的补丁。

DeepDiscovery 是一个可用模板:它从高置信度任务锚点开始,在预算约束下沿代码、配置、测试、依赖和组织链接扩展。在报告的工业场景中,它让中等规模任务的 Full Recall Rate 提高了 2.5 到 7.4 个百分点,让大型子项目提高了 1.6 到 9.2 个百分点。在 SWE-bench Verified 上,配备该系统后达到 78.6% 的解决率,比对应基线高 8.2 个百分点。一个实用的初始测试是:标注最近 20 个内部 bug 中评审者触碰的文件,运行智能体的常规检索路径,然后在衡量补丁质量前先比较召回率。

面向智能体编程会话的回归和恢复套件

智能体评估应重放开发者在第一轮答案之后的真实工作方式:后续编辑、不稳定或变化的工具,以及围绕验证的成本决策。一个有用的套件可以从已接受的编程任务开始,添加九轮应保留原始测试的后续细化回合,注入可恢复的工具风险,例如字段重命名或输出漂移,并记录智能体在失败后选择了哪个动作。评分应包括最终测试、指令遵循、制品交付、恢复选择、验证器调用、运行时间和 token 成本。

CodeChat-Eval 发现,经过 10 轮细化后,所有被评估模型的正确性都出现统计显著下降;报告的下降幅度从 GPT-5 Nano 的 19.2% 到 Llama 3.1 8B 的 69.2%。ToolBench-X 发现,在可恢复工具风险上,没有被评估模型达到 0.60 的总体准确率;定向提示比增加交互轮次能恢复更多损失的准确率。Bayesian control 补充了成本维度:当验证成本高且更便宜的 critic 提供有用信号时,基于后验的编排最有帮助。团队可以在一个 sprint 中验证这一点:把 30 个已解决工单转换为重放会话,为每个任务添加两个可恢复工具故障,然后把当前固定循环与一种按测得成本在 critic、regeneration、verifier 和 stop 动作之间选择的策略进行比较。