来源笔记
Model can accept 1M tokens doesn't mean it can reason across those 1M tokens
摘要
这段摘录指出，模型能够接受 100 万个 token 的上下文，并不代表它能可靠地处理其中分散的信息。摘录称，随着上下文长度增加，检索准确率会大幅下降，并提出持续学习、使用智能体轨迹训练，以及与真实环境交互等可能的改进方法。
问题
- 长上下文模型可能能够接收大型输入，却无法可靠地检索或推理上下文中分散的信息。
- 这会影响编程智能体，因为大型代码仓库、很长的执行轨迹和工具输出可能超出模型可靠工作的范围。
方法
- 使用检索任务比较模型在 256k 和 100 万个 token 下的表现。
- 将这种失败模式称为“上下文腐化”（context rot）：随着上下文变长，推理质量下降。
- 建议采用持续学习、使用模型自身的轨迹进行训练，以及与真实环境交互，以改善智能体的长时程行为。
结果
- 摘录称，GPT-5.5 在 256k 个 token 下的检索得分为 80%。
- 在 100 万个 token 下，得分据称降至 36%，比 256k 的结果低 44 个百分点，相对下降 55%。
- 摘录没有提供数据集名称、评测流程、统计分析，也没有与其他模型进行比较。
- 摘录还宣传了 Andrew Ng 推出的 Claude Code 短课程，但没有证据表明该课程能提升编程智能体的性能。