主题概况

Reward Hacking

趋势
2
想法
2
最近一期
2026-05-20
趋势 · 日 · 2026-05-20 · Software Intelligence

编码代理面临更 কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ কঠ检查以验证真实行为

当天最强的信号是可执行证明。SpecBench 表明公共测试会奖励空壳系统,而 FuzzingBrain V2 和 ERA 用评估循环来验证崩溃或改进科学指标。当前门槛是隐藏测试、运行时检查或任务特定检查下的具体行为。

趋势 · 日 · 2026-04-19 · Software Intelligence

编码研究正在收紧对代理实际完成内容的检查

4 月 19 日的编码研究,最强的地方在于系统不再相信表面成功。PDB、Prometheus 和 Terminal Wrench 各自加了一层更严格的检查:编辑是否精确,补丁是否符合已验证的需求,代理是否在不欺骗验证器的情况下完成任务。实际信息很清楚。更好的编码代理现在同样依赖评估层和控制层,而不只是依赖原始生成质量。

想法 · 日 · 2026-04-19 · Software Intelligence

Solution Fidelity Controls

这一天的编码代理研究指向三个容易在真实工作流里测试的近期待办事项:给调试代理加 diff 大小控制、在自动修复前先验证可执行需求、以及对基准验证器做对抗性审查。它们有一个共同点:测试通过或任务验证器通过,已经不足以说明系统是否以精确、可审查的方式解决了预期问题。