研究想法

代理状态与交接完整性

日 · 2026-07-11 · Software Intelligence

代理团队可以在三个具体边界提高可靠性:跨轮次保留可复用的推理状态,在每次模型调用前检查组装好的上下文,以及验证代理之间传递的文件。每项改动都可以先从本地回归测试开始,再扩大部署范围。

3 个想法

长上下文编码会话的 KV 缓存回归测试

本地推理维护者应像测试模型吞吐量一样认真地测试对话状态。qMLX 将数分钟的后续响应延迟追溯到服务端的三个错误:变化的消息 ID 破坏了字节级精确的前缀匹配,被中断的助手回复从历史记录中消失,检查点淘汰丢弃了可复用的状态。在一台 M3 Ultra 上,磁盘恢复将 32,000 个 token 的重复预填充时间从 88 秒降至 0.64 秒。

实用的回归测试套件应重放固定的编码会话,中断生成后再恢复,并在每轮之后记录缓存命中长度、预填充的 token 数量和首 token 延迟。当稳定的提示词前缀意外变化,或服务端历史记录与客户端对话记录不一致时,测试应失败。团队可以先在支持的硬件上运行 32,000 token 和 100,000 token 的轨迹;qMLX 的测量结果来自一台机器,在进行容量规划前需要复现。

RAG 和代理 CI 中的推理前上下文检查

运行 RAG 流程和工具调用代理的团队可以在 CI 中保存有代表性的模型负载,并在发布前拒绝结构回归。ContextOps 已支持消息列表或结构化负载,无需调用模型即可报告重复 token、来源集中度、token 平衡和预计节省量。其示例发现了 214 个重复 token、两个近重复的检索块,并估计可节省 12% 的 token。

首次部署时,应在修改检索、记忆、系统提示词或工具序列化方式后,对一小组真实任务的负载快照进行比较。为重复 token 数量、token 总量增长和任一来源所占比例设定上限,然后人工检查失败案例两周,以测量误报率。这些检查只覆盖负载结构;答案正确性和检索相关性仍需通过任务级评估验证。

代理之间经过验证的文件交接

交换数据集、构建产物或报告的多代理系统需要一份交接记录,其中包含发送方和接收方身份、文件大小、哈希值、有效期、交付状态和收据验证结果。AgentTransfer 通过命名收件箱、流式 HTTPS 下载、SHA-256 检查和 Ed25519 签名的收据链实现了这一模式。其离线演示在两个代理之间传输一个 1 MiB 文件,并验证文件和收据链。

实际试点应先将一次产物交接放在模型上下文之外,然后注入截断、重复交付、链接过期、接收方错误和收据篡改等情况。运营人员应测量完成率、恢复行为、传输时间和审计重建能力。所声称的 5 GB MCP 路径仍需要吞吐量和可靠性测试,因此初期采用应限制产物大小,并明确处理失败情况。