研究想法

Repository-Verified Agent Evaluation

日 · 2026-04-22 · Software Intelligence

编码代理评估正在更接近团队能在自己仓库和流水线里核实的东西。这里最可用的方向是:一份按提交关联的评分卡,用来衡量保留代码和审查阻力;一个窄范围的 AGENTS.md 生成流程,并和最近 PR 的回放评估绑定;以及 Node.js 安全分诊,只放行那些已经执行过概念验证利用的案例。

3 个想法

Commit-linked coding-agent scorecards for kept code and review friction

使用编码代理的团队需要一份面向提交的评分卡,衡量开发者保留了什么、丢弃了什么,以及代理带来了多少审查阻力。SWE-chat 提供了最清楚的例子。大约 6,000 次真实会话里,代理写出的代码总体保留率是 50.3%,协作会话降到 44.1%。用户在 39% 的轮次里提出了反对,vibe coding 的 token 成本更高、每行提交代码耗时更长,引入的漏洞也更多。这些数字支持一个明确的产品改动:在代理日志里加入会话后的归因和提交关联,然后按代码保留率、审查返工、打断率和每行提交代码的安全发现,对提示、仓库和工作流排序。最先会用到这套东西的是那些已经为共享仓库里的编码代理付费、还在争论输出到底有没有帮助的团队。一个低成本试点是做一个 GitHub 应用或 CLI 包装器,把会话轨迹和合并后的 diff 关联起来,在正常使用一周后展示保留率和拒绝率。

Task-specific AGENTS.md generation with before-and-after PR replay

一个简短、面向具体任务的 AGENTS.md 生成器,加上评估循环,现在对使用仓库代理的团队来说已经可做。证据足够具体,可以把文档当作性能输入来看待。在 Augment 的研究里,长度大约 100 到 150 行的优质文件带来了 10% 到 15% 的提升;一个用于新增集成的六步流程把缺失接线文件的比例从 40% 降到 10%,同时把正确性提高 25%,把完整性提高 20%。同一项研究也说明了事情有多容易做坏:偏架构的文件拉进了大约 80K 无关 token,只有警告的规则把 PR 时间拉长了一倍。这里有用的产品不是通用文档生成器,而是一个仓库扫描器,它围绕狭窄的任务类型起草 AGENTS.md,从本地代码库里插入决策表和小代码示例,并在最近的 PR 上运行前后任务回放。最先购买的是平台和开发效率团队,他们已经维护内部上手文档,但不知道哪些说明会被代理框架真正读到。

Proof-of-concept exploit confirmation for Node.js dependency triage

Node.js 包安全扫描可以通过生成并执行概念验证利用,向可供分诊的输出再靠近一步。LLMVD.js 说明这件事现在已经能做。这个系统确认了 84% 的基准漏洞,明显高于摘录中的此前工具,并且在 260 个最近发布的包里为 36 个生成了经过验证的利用。它的流程和这个数字一样重要:它把候选发现、可利用性判断、约束推断和基于执行的确认分开处理,并针对路径遍历、代码注入、原型污染和命令注入使用不同的 oracle。这给注册表运营方、供应链安全厂商,以及依赖很多 npm 包的大型应用团队提供了一种可执行的工作方式改动。把利用确认放在静态怀疑之后、分析师审查之前,这样分诊一开始面对的就是已经有可复现产物的包。一个小的验证步骤,是把它跑在一套最近的内部依赖上,看看有多少扫描告警能被带运行证明的确认案例替代。