长时间运行的编码代理演示需要证据包
AI 团队在做大规模编码代理演示时,应该为每个主张发布一份简洁的证据包:提示词版本、生成的源代码、完整代理日志、重试和 dry-run 次数、重启事件、人工批准、总 token 数、美元成本,以及与公开代码的相似度报告。Google 的操作系统演示就是一个清晰的测试案例。公开说明写到 API 费用为 916.92 美元、token 预算为 26 亿,而批评文章指出没有公布长提示词、源代码或运行日志,也没有对公开的玩具操作系统代码做相似度分析或日志分析。
这是一个可以落地的评估层。内部发布门槛可以要求在演示被用于发布稿或销售证明前先交齐这份材料。外部读者仍然需要自行判断,但他们可以检查结果是来自通用代理运行、任务专用脚手架、反复重启,还是未披露的提示词工作。