来源笔记
FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale
摘要
FrontierSmith 把封闭式竞赛编程任务转成开放式、优化型的编程问题，用来训练 LLM 编码模型。论文声称，200 个合成问题能提升 Qwen3.5 模型在 FrontierCS 和 ALE-bench 上的表现。
问题
- 许多真实编码任务没有已知最优解，需要持续评分，但大多数 LLM 编码训练用的是二元通过/失败任务。
- 开放式编码数据稀缺且成本高，因为每道题都需要目标、测试用例和一个能给解法质量打分的验证器。
- 这个缺口很重要，因为开放式基准仍然很难：FrontierCS 报告算法任务上人类专家得分 95.41，而 Gemini 3.0 Pro 为 29.37；FrontierCS 和 ALE-bench 里的人类精选问题分别只有大约 240 道和 40 道。
方法
- FrontierSmith 先从封闭式竞赛编程题出发，通过修改目标、限制有效输出或泛化输入来变异题目。
- 这些变异把精确答案任务变成优化任务，解题者可以用不同启发式方法，并得到连续分数。
- 一个粗粒度的 LLM 判别器先筛掉不够开放式的候选题，再用 idea divergence 指标保留那些采样解法使用不同核心算法的题目。
- 系统先用成对的 LLM 判断估计 idea divergence，再用在生成测试用例上的验证器分数向量之间的距离来估计。
- 其他代理生成测试用例和评分验证器，交叉检查后，验证通过的题目进入后续合成轮次的种子池。
结果
- 用 GRPO 在 200 个合成问题上训练 Qwen3.5-9B，FrontierCS 提升 +8.82 分，ALE-bench 提升 +306.36 Elo 评分性能。
- 训练 Qwen3.5-27B 后，FrontierCS 提升 +12.12 分，ALE-bench 提升 +309.12。
- 和封闭式 HardTests 相比，FrontierSmith 训练在 FrontierCS 上高 +5.24，在 ALE-bench 上高 +236.40。
- 和随机奖励相比，FrontierSmith 训练在 FrontierCS 上高 +7.58，在 ALE-bench 上高 +256.76。
- 去掉 idea-divergence 过滤后，FrontierCS 性能下降 2.05 分，这支持该过滤器在挑选训练题目时的作用。
- 论文还报告，合成问题会让代理使用更多轮次和更多 token，和人类精选的开放式问题上的行为一致，但摘要没有给出具体轮次或 token 数。