趋势

当软件任务给出窄证据时,LLM 更有可信度

日 · 2026-05-03 · Software Intelligence

当天最强的研究把大语言模型(LLM)当作软件工件的有限审查者来使用。QASecClaw、VulKey 和 ACDL 显示了当前重点:给模型一个具体发现、补丁模式或上下文规范,然后测量或检查结果。关于控制和轨迹的近期工作在这里也很明显。

安全审查与修复

安全工作有最清楚的实证信号。QASecClaw 先把 Semgrep 作为高召回扫描器,再让一个面向编码的 LLM 用源代码上下文判断每个候选发现。在 OWASP Benchmark v1.2 上,误报从 560 降到 64,召回率只下降 3.1%。对已经被扫描器噪声淹没的团队来说,这是一个划算的取舍。

VulKey 把同样的思路用在修复上。它不会只传入 CWE 标签,也不会只给完整示例补丁。它先预测一个修复模式,这个模式包含一个语法动作和一个安全相关的关键元素,然后把补丁生成过程建立在这个模式上。在 PrimeVul 上,它报告的修复准确率是 31.5%,比摘要里提到的最佳基线高 7.6 个百分点。这个结果支持一个实用结论:安全模型需要紧凑、任务相关的证据,而不只是漏洞名称。

维护正确性检查

重构正确性很适合用模型做分流,因为输入很具体,而且成对出现:原始 Java 代码、重构后的 Java 代码,以及一个正确性问题。refactoring-oracle 研究构建了 226 个真实 IDE bug 案例,覆盖 47 种重构类型。GPT-5.4 的首次运行准确率达到 93.8%,GPT-OSS-20B 达到 80.5%。作者也测试了在保持语义不变的代码修改下,结果是否稳定。

提交分类的表现要弱一些。Conventional Commit 研究使用 3,200 个 InfluxDB 提交和只靠提示词的开源模型。最好的一次运行准确率是 0.6154,few-shot 提示在平均表现上最好。这个结果仍然有用,但更像是给发布自动化提供提示词选择建议,而不是一个可直接上线的分类器。

Agent 上下文规范

Agent 工作越来越关注模型在每一步到底看到了什么。ACDL 给研究者一种方式,把上下文窗口描述成角色消息、信息片段、带时间索引的状态、条件、循环和多智能体上下文。它的价值在于可复现和可比较:两个 ReAct 风格的 agent 之所以不同,可能只是因为一个把推理轨迹保存在动作历史里,另一个没有。

Conclave 是一个实用对应物。它给 OpenCode 加上结构化的多模型辩论,使用 LEAD、SUPPORT、ALIGN、BUILD 和 CHALLENGE 信号,然后按认可分数选出赢家。这个项目目前还没有基准证据,而且它自己的成本核算很明确:3 个模型辩论 3 轮,每个用户消息要发出 9 次 API 调用。所以,这里的研究问题就是增加一次调用能带来多少可测的输出提升。

人可验证的可靠性记录

可靠性讨论正在更明确地说明人应该检查什么。Knowledge Objects 立场论文提出,用结构化记录来表示主张、流程、证据、范围、验证状态和来源。它没有给出新的基准或用户研究,所以贡献是一个设计论证。

GitHub Actions 审计论文给出了同样需求的应用例子。4 个开源权重 LLM 按照 30 项检查表评估 95 个 Java 工作流,但模型之间的一致性只有一般水平,Fleiss’ kappa 只有 0.28。用 GPT-5 做裁决,再配合有针对性的人类复核,可以把验证工作量减少 81%,同时与专家判断保持 87% 一致。对高风险审计来说,这是一个有用的模式:模型投票可以减少复核负担,但专家检查仍然留在流程里。

较新机器人 VLA 主张现在取决于执行预算较早机器人学习论文把部署细节纳入测试