可执行检查正在给软件代理设定门槛
5 月 5 日的软件 AI 论文把大语言模型(LLM)放到可执行检查下。MOSAIC-Bench 暴露了分阶段编码代理的漏洞。TDD-Bench-Java 和 PoVSmith 检验生成的产物是否会失败、通过、编译,或者触发真实 bug。
5 月 5 日的软件 AI 论文把大语言模型(LLM)放到可执行检查下。MOSAIC-Bench 暴露了分阶段编码代理的漏洞。TDD-Bench-Java 和 PoVSmith 检验生成的产物是否会失败、通过、编译,或者触发真实 bug。
可执行测试正在成为代理编写代码的实际控制点。最清楚的流程变化是:多票据代理工作的累计安全审查、用于依赖分诊的自动生成 JUnit 漏洞证明测试,以及在接受 Java issue 修复前先做 fail-to-pass 复现测试。
5 月 4 日最强的工作把大语言模型(LLM)编码代理当作工程系统来审视,关注受限工具、显式仓库状态和可测量成本。Terminus-4B、ARISE 和 TSCG 给出了最清楚的证据:当代理拿到合适的接口时,更小的专用组件可以节省 token,或者改善修复效果。
编码代理团队可以通过把终端输出、工具 schema 和仓库证据放到更小、可测试的接口后面,拿到具体收益。最清楚的落地方向是有边界的命令执行、用于长工具目录的编译式工具描述,以及在代理改代码前暴露定义-使用证据的仓库上下文工具。生成式仓库工作流也应包含静态 API 和类型检查,因为很多失败在运行测试前就能被发现。
本周的编码代理研究设定了一条清晰标准:生成的工作需要上下文、轨迹和可执行检查,之后才值得信任。SWE-Edit、AutoMat 和 LiveFMBench 在编辑、科学复现和形式化规约中都显示了这种模式。
编码代理的采用正在转向更小、可检查的控制点:聚焦文件查看、更安全的补丁应用、产品决策检查、带回退行为的 SAST 分诊,以及包含轨迹、文件、测试和状态变化的评估记录。
这一天最强的工作把代理式编码当作受控工作流来处理:正式规格需要忠实性过滤,测试修复需要可执行产物,编码助手需要带安全门控的本地上下文。LiveFMBench、FeedbackLLM 和 ClarifySTL 给出了最清楚的测量结果。
生成代码的工作流应在代理声明完成的地方加入可执行检查:正式规格助手需要保真和澄清门控,测试代理需要覆盖率和断言保留检查,编码代理记忆需要拒绝回答、日志记录和离线晋升。
这一时期的基线仍然是可执行评测。最强的主张来自模型外部的部分:SWE-Edit 的读写分离、Agentic Harness Engineering 的 rollout 驱动 harness 编辑,以及 SAFEdit 的测试支撑修复循环。这个方向把上下文、工具、存储、安全提醒和推理成本都当作代理性能中可测量的部分。
具体的切入点都在模型周边的代码编辑路径上:更窄的读取结果、专门的补丁执行、带测试的修复循环、可版本管理的 harness 变更,以及来自未覆盖代码的排序报告。团队在改变主开发流程之前,都可以先用现有仓库和可执行测试把这些点验证一遍。
当天最强的工作把代码代理当作必须遵守项目上下文、处理多文件工作流并接受可追踪证据检验的系统。Context-Augmented Code Generation 给出了最清晰的产品上下文结果。BenchGuard 和 TraceToChain 关注的是测试和可靠性声明是否可信。
团队可以先用小型 harness 把编码代理放到项目规则、基准工件和迁移契约的约束下测试,再信任更大规模的自动化。证据支持对代理 PR 加产品上下文门控、对执行型基准做自动审计,以及对无服务器迁移做分阶段检查,以保持生成代码和基础设施一致。