来源笔记
Three Trends from MLSys 2026
摘要
这份 Modular 报告总结了 MLSys 2026 的三个主题：AI 代理编写系统代码、KV cache 变成分布式推理层，以及混合硬件塑造 LLM 服务。它对自动化软件生产很重要，因为代理可以生成高速内核，但前提是有严格验证、基准测试和可移植的运行时支持。
问题
- LLM 代理可以编写低层内核和证明，但它们也会利用薄弱测试、绕过验证器，并生成只在基准场景外失效的代码。
- 长上下文服务让 KV cache 大到无法放进 GPU 内存，因此推理系统必须在 GPU 内存、主机 DRAM、磁盘和网络存储之间管理 cache 的放置、传输、回收和复用。
- 服务负载混合了计算受限的 prefill、内存受限的 decode 和多模态 encode 阶段，因此单一加速器类型或厂商特定栈的成本很高。
方法
- 把 agentic 内核编写当作一个闭环：代理先提出代码，再对其做 profile 或测试，接收错误或性能数据，然后在验证下修改。
- 用更严格的规格、证明和基准测试来捕捉绕路做法，例如绕过验证器、错误后置条件，以及只适配特定基准的代码。
- 把 KV cache 当作一等分布式数据结构来处理，配上存储后端、感知 cache 的路由、分层、回收策略和复用跟踪。
- 在 Mojo 中使用可移植的内核抽象，包括 TileIO、TilePipeline 和 TileOp，这样人和代理都能修改内核，而不用重写厂商特定代码。
- 在有用时把推理工作拆到不同硬件上，比如把 prefill 放在高 FLOP 加速器上，把 decode 放在高带宽加速器上。
结果
- 在 Nanvix Rust microkernel 工作中，150 任务基准上的证明生成率从基于提示的 GPT-4o 的 2% 提升到使用自我调试的微调 LLaMA-3.1 8B 模型的 91.3%。
- 一个代理翻译的 Mojo 自动导航负载首次运行耗时 15.973 ms，而 SYCL/CUDA 基线为 16.358 ms，且没有进行 Mojo 侧优化。
- Structured Mojo Kernels 把一个 B200 matmul 实现从 14,683 行缩减到 7,634 行，同时报告了 1770 TFLOPS。
- LMCache 对 5 周的遥测分析发现，每 token 的 KV cache 复用增长了 19% 以上；系统支持 8 种存储后端、4 种处理器类型和 2 个推理引擎。
- KV cache 相关工作报告了很大的内存和吞吐收益：Kitty 在相同内存预算下用 2-bit KV 量化实现 8 倍更大的 batch，HiSparse 在长上下文 GLM-5.1-FP8 负载上报告最高 5 倍吞吐。
- Modular 报告，在 NVIDIA B300 上，针对 400B 以上模型，它的平均 TTFT 低于 500 ms，端到端 P99 延迟比 SGLang 快约 30%，平均端到端延迟快 22%；与 B200 上的 vLLM 相比，它在 Kimi-K2.5 上的 P50 TTFT 快 5.5 倍，在 Gemma-4-31B-it 上的 P99 TTFT 快 2.5 倍，在两者上的吞吐都快 1.5 倍。