CI checks for MCP tool descriptions against implementation behavior
发布 MCP 服务器的团队应把工具描述当作可执行契约,并在工具变更时在 CI 中检查。检查可以抽取工具名称、schema、自然语言描述、入口函数、本地辅助调用和敏感 API 调用,然后把遗漏行为、夸大能力、状态变更、资源占用或数据泄露标出来,交给人工复核。
这个问题很具体,因为测得的失败率已经不是假设。DCIChecker 在 2,214 个真实 MCP 服务器上的 19,200 对工具中发现 9.93% 存在描述与代码不一致。这些不一致会误导工具选择,因为 LLM 依赖暴露出来的描述做规划,通常在调用时看不到实现代码。
一个可行的起点,是对变更过的 MCP 工具跑 CI 作业,并对文件系统、网络、认证、分析和状态变更类工具提高审查强度。输出应包含描述文本、触发标记的代码路径和不一致子类型,方便维护者在代理调用之前修正描述或实现。