给 AI 一句模糊的话，
和给它 一份详细的设计文档，
差别有多大？

我大体同意 GPT-5.6 Sol (Max) 的“按风险路由”框架，但这批样本还显示：需求形式会显著改变覆盖分，不能把跨组总分直接读成模型能力。

说明书抬高的是规格覆盖的下限，不会自动抬高执行质量的上限。

一、同模型配对显示了什么

在 27 组同模型配对中，V3 证据评分的覆盖部分从一句话组平均 49.39 / 70 上升到文档组平均 54.62 / 70。说明书确实让更多要求被写进产出。

但执行质量——正确与稳定、交互完成度——分别是 31.51 / 36 与 31.30 / 36，只有小幅变化，没有显示稳定提升。这个样本支持“说明书改善指定功能覆盖”，不足以推出“说明书会让执行质量整体下降”，也不足以推出任何通用模型排名。

因此，跨组比较总分时，需求形式仍是重要混杂因素。要讨论说明书的影响，应优先看这 27 组配对结果，而不是把一句话组 39 件和文档组 29 件直接当成同构样本。

二、说明书做了什么，没做什么

说明书能减少“没想到”的失败：轨道根数、八颗卫星、哈雷彗星、离线约束和渲染管线写在纸上，模型更可能逐项实现。

它不能自动消灭“想到了但做错了”的失败。文档组仍出现环阴影混用坐标空间、金星半长轴写错、土星环缩放后实质消失、大红斑永远转不到可见面、太阳信息出现 NaN，以及渲染循环在后台持续倍增。这些问题往往不报错，只有打开作品、持续观察，再回到源码核对才能发现。

说明书降低了输入端的歧义，却没有替你完成输出端的验收。

V3 量表因此把“写了没有”拆成可追溯的功能、轨道模型、运行一致性、有效卫星和交互子项，致命故障统一标记为未完成，分数按实际证据计算。主观视觉观感不再量化；公式虽自动，证据采集仍不是全自动，部分交互问题继续由实跑与人工体验修正覆盖。

三、这对成本判断意味着什么

本批样本没有统一的计费口径，也缺少足以把模型调用价格与验收结果严格配对的控变量数据，因此不能从它直接推导哪一档在一般情况下“最省”。

单次调用更便宜，不等于一次验收更便宜。

真正该比较的是完成一次通过验收结果的总成本：模型调用、规格准备、等待、失败重试、修 Bug、人工监督和最终复核。失败越静默，发现它的成本越高。只有当较低档模型在同类任务中稳定通过同一套验收，而且总成本确实更低，降档才有证据。

四、复测与证据边界

有些模型被多次运行，是因为早期结果与预期、宣传或其他评测呈现的水平明显不符；后续运行没有改变整体印象。但这些复测不是预先规划的，次数也不相等，且当前可见样本的重复运行还混合了需求形式、版本或环境，因此不能据此估计统一方差，更不能形成公平排名。

这批样本还有四个明确边界：

• 它只测试一种开放式 3D Coding 任务，不能代表写作、翻译、信息抽取或多数工程工作。
• 平台、Agent 环境、缓存和计费口径并不完全相同，不是实验室控变量测试；Claude Opus 4.8 配对还存在 (Max → Ultracode·xhigh) 档位变化。
• Claude Opus 5 (Ultracode·xhigh) 是说明书作者，也是随后按说明书作答的模型之一，存在“自拟题再作答”的优势。
• 主观视觉观感已退出量化评分；部分交互问题仍需人工体验修正，V3 证据评分提高了透明度，但没有消除判断误差。

因此，这批样本支持“详细说明书提高指定功能覆盖”，不足以形成通用模型强弱排序，也不足以断言说明书会降低执行质量。

五、四条可执行判断

• 默认最强，但给降档设明确触发条件。不是因为最强永远最优，而是避免每次重做一张快速折旧的路由表。
• 降档先看失败可见性。编译、测试或空结果会立即暴露，更适合降档；轨道、视觉和长期循环这类静默错误，需要把人工发现成本算进去。
• 先写验收，再选模型。没有可执行检查，多模型试跑容易只比较表面观感。
• 顾问策略只用于卡点可识别的流程。执行模型不会为自己没有意识到的错误主动求助。

一句话：

不要为了省 Token，去换一次需要人来发现的失败。