来源笔记
Context Engineering: A Practitioner Methodology for Structured Human-AI Collaboration
摘要
本文认为,AI 输出质量更多取决于上下文是否完整,而不是提示词的措辞。它提出了一种面向实践者的方法,用于打包上下文并按固定阶段推进工作,证据来自 200 次人类与 AI 交互的观察数据。
问题
- 临时拼接的提示词常常会漏掉需求、示例、约束和质量标准,结果就是需要更多修改轮次,初稿质量也更弱。
- 论文认为,已发表的提示词指南和代理框架没有给实践者一套清晰的人类侧方法,去在不同任务中组装、排序和安排上下文。
- 这很重要,因为缺少上下文会浪费操作者时间,也会让专业工作流中的 AI 输出更不稳定。
方法
- 该方法定义了一个四阶段流程:Reviewer -> Design -> Builder -> Auditor。每个阶段有单独职责:提取需求、制定计划、生成产物、并根据计划检查产物。
- 它定义了一个五角色上下文包,并设定固定优先级:Authority, Exemplar, Constraint, Rubric, Metadata。当指令冲突时,优先级更高的项负责解决冲突。
- 一个核心规则是,Design 阶段的输出会成为下游阶段的主要 Authority 文档,因此 Builder 是按规范执行,而不是根据最新提示词临时发挥。
- 论文还引入了 Operator Authority,这是一个带版本管理的文件,包含反复出现的用户标准,例如语气、格式和质量规则,这样模型就不必靠反复纠正来学习这些要求。
- 证据来自一项观察研究,覆盖 Claude、ChatGPT、Cowork 和 Codex 上 200 次有记录的交互,时间跨度为四个月;同时还提到一个配套的生产自动化系统,包含 2,132 个已分类工单。
结果
- 在这 200 次交互的数据集中,上下文不完整与 72% 的迭代轮次有关。
- 结构化的上下文组装与平均迭代轮次从 每个任务 3.8 次降到 2.0 次有关。
- 首轮接受率从 32% 提高到 55%。
- 在结构化交互中,200 次里有 110 次在首轮被接受;基线交互中是 50 次里有 16 次。
- 允许迭代时,最终成功率达到 91.5%(200 次里 183 次)。
- 论文说明这些结果是 观察性 的,来自 单一操作者数据集,也 不能 证明受控的因果比较。