Structural constraints in real codebases
后端生成、企业迁移和架构修复都暴露出同一个薄弱点:代理能生成可运行代码,却过不了工程约束。
Constraint Decay 在 80 个后端任务上固定一个 OpenAPI 契约,并变化架构、数据库和对象关系映射要求。在完整约束下,能力较强的配置在断言通过率上下降约 30 个百分点。数据库选择带来的损失最大。
ScarfBench 让代理在 Spring、Jakarta EE 和 Quarkus 之间迁移 Java 应用。204 个定向迁移里,只有 1 个达到完整行为等价。即使最强的整应用运行也只有 87% 的编译成功率、40% 的部署成功率和 12% 的测试成功率。
SmellBench 加入了设计维护这一面向。专家审查发现,63.1% 的高严重级静态异味检测是误报。表现最好的代理解决了 47.7% 的案例,而最激进的修复设置引入了 140 个新异味。