流畅不等于真实

流畅不等于真实 图片：AI 生成

我曾让一个AI去研究某个问题，它给出的回答工整、有条理、语气笃定——却在一个我纯属偶然才发现的地方是错的。我的第一反应是：是不是我用错了？文献给出的答案是否定的。没能察觉，本就是谨慎的人也会得到的默认结果，而解法不是"更警惕"，而是把这种不安感转化成机器可以检验的东西。

LLM 打破的流畅性启发式

人脑运行在一条廉价的捷径上：如果一件事容易理解，它多半就是真的。心理学家称之为流畅性启发式（fluency heuristic），在历史的大部分时间里，这都是一个合理的赌注——一个说话条理清晰、语气自信、逻辑连贯的人，通常确实更有能力，因为在人类的约束条件下长期伪装出这种表达方式并不容易。LLM是第一批大规模生产、却打破了这种相关性的"说话者"。流畅对模型而言不再有任何代价。自信只是一种词元分布，而不是经过验证的理解力的信号。

这种落差直接体现在人们对AI输出的评价方式上：面对同一个答案，如果被告知它来自AI，人们会评价它"更自信"；如果被告知它来自人类，评价则会降低（phys.org, 2026-05）。模型本身并没有变得更笃定，是读者的先验判断变了。

专家也无法幸免

如果这只是经验不足的问题，培训就能解决它。但事实并非如此。

那些已经接受过AI辅助诊断培训的医生，依然未能过滤掉那些听起来合理、实则错误的LLM建议——自动化偏见挺过了本该用来免疫它的培训（medRxiv, 2025-08）。这就是其运作机制，而且比听起来还要糟糕，因为能蒙混过关的错误并不是那种容易发现的错误。解读层面的错误比事实性错误更难察觉——一个错误的名字或错误的日期会很显眼；但一个错误的框架不会，因为它听起来合理，还恰好符合读者原本的预期叙事（Not Wrong, But Untrue, arXiv:2509.25498）。领域知识能抓住事实错误，却不能可靠地抓住框架错误。

这两项发现的背后，都是一个校准缺口：LLM报告的置信度系统性地高于其实际准确率。在对十一个模型、六组问题集的测量中，平均声称的置信度是88%，而实际准确率只有79%（Confidence Calibration in Large Language Models, arXiv:2605.23909）。模型并不是在撒谎说自己有把握，它只是校准失衡了——而这种失衡读起来却像是权威。

感觉更快，实则更慢

最能说明这不是知识问题的证据，来自METR 2025年的一项研究，对象是经验丰富的开源开发者——16名开发者，246个真实任务，涉及的代码仓库平均超过百万行代码。这些不是天真地信任AI的人，他们每天都在生产代码里工作。

他们原本预期AI能让自己快24%。
实测结果是他们慢了19%。
在完成任务之后——真实的时间成本已经产生——他们依然相信自己快了20%。

这种错觉在任务已经完成并被计时之后依然持续存在。这才是值得深思的部分：切身感受不是证据，它也不会自我纠正。一种"能跑、能上线、感觉很高效"的状态，即便在可测量的意义上并不高效，也可以稳定地持续存在，而单靠"亲身经历过"这件事本身，并不能纠正它。

关于这项研究能承载什么结论，需要说得精确一些：十六名开发者是一个很小的样本，METR自己也明确指出，这个结果是有特定情境限制的——经验丰富的维护者，面对他们深谙于心的成熟百万行代码库——不应被引申为"AI会拖慢所有人"。所以，不要把那19%当作一个可以到处套用的点估计。这个论证真正依赖的不是差距的大小，而是差距的方向：实测效应是负的，而无论在工作之前还是之后，主观感受的效应都是正的，事后的平均估计值落在最初的预期附近，而完全不接近实测值。如果自我感知只是有噪声，那么事后估计应该会围绕实测的真值散布开来。但事实并非如此——它们始终停留在原本预期的位置上。

验证的经济学为何崩溃

在LLM出现之前，通过审视产出来判断产出者的能力，是一个合理的代理指标——两者是相关的，因为粗糙的产出往往出自粗糙的生产过程。LLM切断了这条链接。产出质量与产出者能力不再耦合，这意味着仅凭产物本身进行评估，已经不再是一种有效的诊断手段（Fluent, Confident, Wrong, ScienceDirect 2026）。验证的成本超过了生产本身。

更糟的是，错误造成的代价并不与错误率成正比。当错误的部分与正确的部分读起来一模一样——同样的语气、同样的自信、同样的打磨——你就无法定位损害所在，于是几个百分点的污染带来的代价，绝不只是几个百分点。它会污染整个信息池：输出中的每一条论断，现在都背负着最差那一条带来的嫌疑。这就是为什么"模型有95%的时候是对的"听起来令人安心，实际上却不然。信任的崩塌远早于准确率的下滑，而且是断崖式的。

几乎没有人的验证习惯随之更新——这正是本站Ratchet Pattern论证所建立在的那个缺口之上：生成过程可以保持概率性，但对它的检验不能。

这不是误用——而是大多数人的默认状态

那么：是我用错了吗？文献给出的答案恰恰相反。教科书式的"误用"定义，就是把流畅当作信任的信号，从而关闭了验证——而这并非个别情况，恰恰是包括受过训练的人在内、大多数人的默认反应。自动化偏见研究中的那些医生，没能守住自己的质疑信号；METR研究中的那些开发者，也同样没有。如果在一个流畅、看起来无从证伪的答案面前保持怀疑让你觉得像是多疑，那么值得注意的是，这份多疑已经让你领先于绝大多数被测量过的人——包括那些本职工作就是要抓住这类错误的人。

对本站而言，这并不是一个新观察——它与谄媚是一种商业特性和编码智能体为何有效、又为何会失灵两篇文章所落脚的是同一片领域：这种失效模式是结构性的，而不是个人一时的注意力疏忽，任何程度的"再小心一点"都无法在规模上对抗它。

唯一有效的解法

这里真正重要的调整只有一个：不要止步于那种"不太对劲"的感觉。把它转化为一个可观察的验收标准，并且要在工作开始之前设定好这个标准，而不是之后。感觉不会自我纠正——METR已经直接证明了这一点——但测量会。

“转化"是一套程序，不是一种心情。对任何具有承重作用的论断——即将影响某个决策的论断——在采信之前先回答两个问题：

要使这个结论成立，什么必须为真？ 流畅的输出很少会陈述自己的前提；它会把前提悄悄地融入叙事框架里，这正是领域知识对它无从下手的原因。这个问题把隐藏的前提拽到论断的层面上来，使它终于可以被质疑。
如果这个结论是错的，我会观察到什么？ 这会迫使这个论断在现实世界中押上一份赌注。一个结论如果暗示"就算它被否定，也不会有任何可观察的差异”，那它就不是知识——它只是自洽，而自洽正是一个模型在毫无风险的情况下所优化的目标。

对于AI生成的代码，这两个问题可以压缩成一处空白，需要在代码写出来之前先填上：*“如果这段代码真的有用，那么它上线之后，用户马上就能做到___。"*这个空白必须指向用户世界里的一个动作，而不是代码本身的动作——干净的构建和能跑通的运行时，只是自洽性检验，不是有用性检验。而如果你填不出这个空白，那恰恰是整套程序中最有价值的产出：它说明你其实还不知道自己要的是什么，而那个流畅的答案原本正打算把这一点瞒过你。

缓解措施文献里的其余一切——把自信的语气与已验证的事实分开、把输出拆成可以独立检验的单元、在流畅的答案落地之前就预先建立摩擦——都不过是这同一种转化，应用在不同的层面上。

“这不就是重新包装的怀疑主义吗？”

一个显而易见的质疑是：“先检验再信任"不正是怀疑主义一直以来的意思吗？那这里到底有什么新东西？答案在于判断发生的时机，而时机正是整个机制的核心所在。

怀疑主义是一种在审视输出的过程中所采取的姿态——而上面每一项研究，测量的恰恰都是这种姿态的失效。那些医生并非轻信之人；他们接受过AI辅助诊断的培训——一种本该正是用来植入这种怀疑姿态的干预措施——而且他们正正是在直视着那些建议本身。可那些建议依然瓦解了他们的戒备，因为一份流畅的产物会改变施加在它身上的判断标准——这正是流畅性启发式的本质。而一个在产出出现之前就已设定好的标准，没有任何流畅的产物可以拿来瓦解它。自信在这里无从施展，因为这项检验被固定在了一个产出永远无法触及的时间点上。

科学界出于同样的理由，将同样的做法制度化了。预注册（preregistration）之所以存在，不是因为审稿人缺乏怀疑精神；而是因为一个研究者在面对已经收集好的数据时，可以流畅地为任何结果找到合理化的解释，于是这个领域把假设的确立时间点，挪到了数据出现之前。如果这种区分是空洞的——如果"事后怀疑"和"事前标准"效果一样好——那么受过训练的评估者理应能以很高的比率过滤掉错误的建议。而这恰恰就是自动化偏见研究所进行的实验，结果是否定的。

“验证的成本比生产还高——谁负担得起？”

一个更尖锐的质疑是：如果检验产出的成本高于生成它的成本，那么"先验证再信任"就等于是在建议你比所有人都慢，而大多数现实中的决策根本负担不起这个成本。这其实两次误读了这条建议。

第一，标准本身不等于验证过程。写下"如果这个论断是错的，我会观察到什么"只需要一句话的成本，而你只需要在具有承重作用的论断上才支付真正的检验成本。一个预先设定好的可观察标准，其检验成本也远低于毫无边界地审计一份流畅产物的成本——事后验证的大部分成本，根本不在于检验本身，而在于不知道该从何处下手，而标准正是用来收窄这个搜索空间的东西。

第二，跳过验证并不能消除成本——它只是把成本转移到了下游，并且从账面上抹去了。METR研究中的那些开发者并没有省下这份代价；代价体现在了实测的时间里，而他们主观的心理账本上却记着一笔"盈利”。这才是这个质疑真正搞错的比较对象。它比较的不该是"验证"对"零成本”，而应该是——当下就付出、定价清晰、看得见的验证，对上事后吸收、无从定价、却被记成收益的错误代价。

把评审者写成代码

上面这套两问程序仍有一个薄弱环节：它依赖于有人记得去执行它。这其实是同一种失效在更高一层的重演。一种只存在于人脑中的纪律，会以和不安感完全相同的方式衰减——在第一次仔细阅读时还很敏锐，到第十次流畅的阅读时就已荡然无存。“把它转化为一个可观察的验收标准"这句话真正持久的形式，不是一种习惯，而是一个构建步骤：把标准交给机器，让流水线在标准未被满足之前拒绝通过。

这并非纸上谈兵——你正在读的这篇文章，正是被这样的机制把关放行的。Reins 就是为此而生的开源框架：每一条验收标准都变成一个 quest，一条对 Fact{Where, Expected, Actual} 求值、只报告通过或失败的规则，它从不去问周围的文字听起来是否有说服力。在这篇文章的第一句话被写下之前，就已经有人先写好了它被允许提出的具体论断；机器会拿这份清单去筛查草稿；而检查论断覆盖率的评审者，工作在一个与撰写草稿者完全不同的上下文里——因为自我审查根本算不上审查。本站运行所依赖的 quest 系统 abloq 把这一点编码成了一条规则，而不是一句请求。

“不要只凭感觉"这句话，真正的含义就在这里。不是要求更多警觉，而是在流水线里造出一个位置，让警觉不再是必需的依赖。上一节的那两个问题——什么必须为真、什么会证伪它——一旦变成一条门禁规则，而不再是一句要靠自己记住去问的心理提示，你就不必再费心去记得提问了。quest 不会在读到第十次的时候感到疲惫。