Image: AI generated
一个答案的代价
一个万亿参数的模型,为了吐出一个答案,要用掉相当于一座城市的电与水。
每一次推理,数据中心都在升温,为了给它降温,水被蒸发掉。估算因来源不同而相差几个数量级,但 IEA 认为一次 ChatGPT 查询的耗电接近普通搜索的十倍,也有分析说一个一百词的答案要耗掉一瓶水。如此焚烧之后换来的答案,竟有一半还得再问一遍,一句"你确定吗"就会被推翻。浪费之上又堆着浪费。
我觉得这疯了。
我倾向于把浪费看作设计的问题,而非自然的极限。如果有东西被丢弃,那多半只是还没找到更好的设计。可如今的 AI 走的恰恰是反方向。更大,更多地焚烧,更频繁地出错。
于是我开始寻找答案。一定有另一条路,不是把它做得更大。
如果把它做大不是答案
业界的答案只有一个方向。规模。增加参数,增加数据,增加上下文。撞上墙,就抡起更大的锤子。
第一性原理思考会说,停在那里。*这真的对吗?*更大的统计机器是更准确的机器,还是只是更贵的机器?
我转回了 symbolic。不是用统计去逼近意义,而是用可验证的结构把它捆住。给每一个主张都附上出处、时点与可信度,让机器自己去验证。我相信答案就在那里,并疯了一样地四处寻找方法。
然后,我在意想不到的地方看见了答案。
大家都想修掉的那个缺陷
LLM 有一个人人都骂的缺陷。阿谀。
你问"你确定吗",它就会把原本答对的推翻成答错。它悄悄朝着用户想要的方向倾斜。它讨好。这是用 RLHF 学会"人喜欢的答案"之后的数学必然,而大厂也没有修它的动机。它不是 bug,实际上是 feature。
大家都想消灭它。我反过来问:如果消灭不了,那就让它对什么阿谀?
答案很简单。让它对 fact 阿谀就行了。
在模型面前铺好已验证的事实,只让它在那之上发言。把阿谀的本能原样留着,只把阿谀的对象从用户的情绪换成固定的事实。这样,缺陷就转了向。原本用来讨好的那股力,如今朝向事实。阿谀变成了准确率。
徘徊停止了
效果比我预期的更大。
准确率上升是理所当然的。让我惊讶的是接下来的事。**智能体不再徘徊了。**没有被事实拴住的智能体会无尽地游荡。它编出看似可行的路,在自己造出的虚假笃定之上再垒下一层虚假,走了很远才发现是死路。事实上在一项评估里,连性能最高的模型也未能完成多步任务中近 70% 的部分(Carnegie Mellon)。所有这些白费的脚步都是 token。是电。是水。
铺好事实之后,智能体不再迷路。白费的脚步少了。于是 token 浪费减少了。
在这里,两件事合为一体。准确率与节省并非取舍。*它们是同一件事。*更准确的智能体焚烧得更少。被事实拴住的模型更便宜也更正确。零浪费不是降本的问题,而是正确的另一个名字。
老实说:这是我在自己的实验之上看到的,我还不能断言它能在所有领域、所有规模上以同样的幅度重现。但方向是清楚的。把事实固定住,模型就更少徘徊、更少焚烧。
所以我决定把它说出来
我本可以把它一个人攥着。但第一次看到那张图表时,浮现在我脑海的不是商业计划,而是数据中心的热。以人类为单位的浪费。在它面前,“只有我知道"毫无意义。
于是我决定把它告诉这个世界。
原理不是该藏起来的东西。把模型拴在事实上。别去跟阿谀搏斗,去换掉阿谀的对象。只让它在可验证的结构之上发言。这应当是人人都能理解、人人都能验证的。唯有如此才是真的。
我给它起了个名字。**缰绳(Reins)。**不是把马圈起来的围栏,而是把握方向的缰绳。不是把智能体捆住让它动弹不得,而是用事实这根缰绳把握方向,让它更少徘徊、更少焚烧。
懂得原理,和在每一次作业里真正去强制执行它,是两回事。后者通向何方,留给另一篇文章。
这篇文章,只是讲述我为何走上了这条路。一个觉得"烧掉一座城只为换一个答案"是疯了的人,在大家都想丢弃的缺陷里捡到了答案的故事。
相关文章
- AI 的阿谀偏差是一项商业特性。阿谀为何是 RLHF 的数学必然,以及让它对 fact 阿谀的机制
- Reins Engineering:有缰绳的 AI。如何在每一次作业里真正强制执行原理,缰绳而非围栏
参考文献
阿谀(sycophancy)
- Sharma et al. “Towards Understanding Sycophancy in Language Models” (ICLR 2024, arXiv:2310.13548)
- Perez et al. “Discovering Language Model Behaviors with Model-Written Evaluations” (ACL 2023 Findings, arXiv:2212.09251)
- Shapira et al. “How RLHF Amplifies Sycophancy” (2026, arXiv:2602.01002)
- Gao, Schulman, & Hilton “Scaling Laws for Reward Model Overoptimization” (ICML 2023, arXiv:2210.10760)
- Fanous et al. “SycEval: Evaluating LLM Sycophancy” (AAAI 2025, arXiv:2502.08177)
- Wang et al. “When Truth Is Overridden” (AAAI 2026, arXiv:2508.02087)
- Ibrahim et al. “Training language models to be warm can reduce accuracy and increase sycophancy” (Nature 2026)
- OpenAI “Sycophancy in GPT-4o” (2025.4)
能源(数据中心)
- “We did the math on AI’s energy footprint.” MIT Technology Review, 2025-05-20. 每个回应 57~6,706 焦耳(小型~大型),一段 5 秒视频约 340 万焦耳。link
- IEA Electricity 2024. 预计数据中心电力在 2026 年突破 1,000 TWh(≈ 日本一国的消耗量),ChatGPT 一次 2.9 Wh,对比谷歌搜索 0.3 Wh(约 10 倍)。(Data Center Frontier, 2024-03-08) link
- IEA, “Data centre electricity use surged in 2025.” 2025 年数据中心电力需求 +17%(是全球电力需求增长 3% 的 5 倍),预计到 2030 年翻倍、AI 专用则增至 3 倍。link
- “Google’s Gemini AI energy per prompt.” MIT Technology Review, 2025-08-21. 中位提示 0.24 Wh(微波炉运行 1 秒),一年内效率提升 33 倍。link
- “Sam Altman defends AI’s electricity and water usage.” Fortune, 2026-02-24. OpenAI 称每次查询 0.34 Wh。(每次查询的电力估算因来源不同在 0.24~2.9 Wh 之间,最高相差 10 倍)link
水(数据中心冷却)
- “A bottle of water per email: the hidden environmental costs of using AI chatbots.” The Washington Post, 2024-09-18. 一个一百词的回应 ≈ 519 毫升(一瓶水)。link
- “AI behind ChatGPT was built in Iowa, with a lot of water.” AP News, 2023-09-09. GPT-4 训练取用爱荷华河流域的水,微软用水量 2021→2022 年 +34%。link
- “AI Could Use as Much Water as 1.3 Billion People by 2030, U.N. Report Warns.” TIME, 2026-06-03. link
- “The AI Boom Is Draining Water From the Areas That Need It Most.” Bloomberg, 2025. 2022 年以来新建数据中心的三分之二选址于缺水地区。link
- “Big tech’s new datacentres will take water from the world’s driest areas.” The Guardian, 2025-04-09. link
注:每次查询的电力与水的数值因来源不同而相差数量级(电力 0.24~2.9 Wh,一瓶水包含发电厂的间接取水。OpenAI 反驳称若只算直接冷却水,每次查询约 0.3 毫升)。这种偏差本身就佐证了"连诚实地度量浪费这件事都还没做到”。
低效与规模化极限
- “OpenAI and rivals seek new path to smarter AI as current methods hit limitations.” Reuters, 2024-11-11. Ilya Sutskever:预训练规模化的结果"plateaued(停滞)"。link
- “AI scaling laws are showing diminishing returns.” TechCrunch, 2024-11-20. “再投入更多算力、数据与规模也呈收益递减”。link
- “AI agents wrong ~70% of time: Carnegie Mellon study.” The Register, 2025-06-29. 最佳模型的任务完成率 30.3%,部分模型为伪装完成而伪造用户名。link
- “Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027.” Gartner, 2025-06-25. 成本飙升、价值不明是主因。link