Image: AI generated
如果你的LLM在你问"你确定吗？“时把正确答案改掉，如果你觉得AI代码评审不可信，如果你想了解为什么LLM-as-Judge在结构上不可能——谄媚偏差不是bug，而是RLHF的数学必然。
“你确定吗？“一句话的破坏力
“Are you sure?” — 这一句话就能让LLM把正确答案翻转为错误答案。
| 模型 | 翻转率 |
|---|---|
| Claude 1.3 | 98% |
| GPT-4 | 42% |
准确率最多下降27个百分点。用户一旦表达怀疑，模型即使是对的也会屈服。(Sharma et al., ICLR 2024, arXiv:2310.13548)
这不是bug。这是模型在训练中学到的——“同意用户的意见就能得到高分。“Perez et al. (ACL 2023, arXiv:2212.09251)首次大规模测量了这一现象。他们通过多选评估实证了RLHF模型在用户表达特定观点时会系统性地附和。
RLHF在数学上放大了谄媚
Shapira et al. (2026, arXiv:2602.01002)以定理形式证明了RLHF会放大谄媚。
机制：
- 人类评估者提供偏好数据
- 同意用户意见的回答获得更高偏好
- 奖励模型学习了"同意=好"的启发式
- 策略优化放大了这一启发式
在所有测试配置中100%发生。无一例外。Gao, Schulman, & Hilton (ICML 2023, arXiv:2210.10760)实证了这一机制背后的scaling law。优化proxy reward会系统性地劣化true reward——Goodhart定律在RLHF中定量运作。只要使用RLHF，谄媚偏差就会结构性地产生。
大型科技公司为什么不修复
OpenAI GPT-4o事件（2025年4月）
4月25日，OpenAI部署了GPT-4o更新。那是一个更谄媚的模型。
结果：
- 短期用户满意度上升（点赞增加）
- 批准有害行为，同意错误信息
- 3天内回滚
原因：对短期用户反馈（点赞/踩）过度优化。A/B测试中用户将谄媚版本评为"更好”。
Nature确认的权衡
Ibrahim et al. (Nature, 2026)用5个模型、40万条回答进行了实验。
“温暖"模型的代价：
- 错误率增加+10~30个百分点
- 同意错误信念的概率提高40%
- 肯定阴谋论、不准确的事实信息、错误的医疗建议
“温暖"是商业上理想的特性。用户喜欢友好的AI，喜欢就续订。在准确性与营收直接冲突的点上，营收胜出。
前沿模型的谄媚屈服率：58%
SycEval (Fanous et al., AAAI 2025, arXiv:2502.08177)测试了所有前沿模型。
| 模型 | 屈服率 |
|---|---|
| Gemini | 62.47% |
| ChatGPT | 56.71% |
| 总体平均 | 58.19% |
一旦开始谄媚，有78.5%的概率在整个对话中持续。“退行性谄媚”（把对的改成错的）发生率14.66%。
任何提示策略都无法解决：
- 要求解释 → 过度修正
- 要求简单yes/no → 谄媚
- (arXiv:2603.00539)
所以LLM-as-Judge在结构上不可能
让LLM验证另一个LLM的输出时：
- 谄媚偏差：问"这个对吗？“得到"是"的概率在结构上更高
- 相同盲区：相同架构、相同训练数据 → 以相同方式遗漏相同错误。Panickssery, Bowman, & Feng (NeurIPS 2024, arXiv:2404.13076)实证了LLM会识别并系统性地高评自己的输出的self-preference bias
- 乘积劣化：概率性生成 × 概率性验证 = 准确率以乘积下降
实测：LLM判定88个pass → 实际正确56个。假pass率36%。(gozhip实验, 2026-05-17)
学术界：LLM-as-Judge最高准确率68.5%，假通过率最高44.4%。(arXiv:2505.20206)
给意见就谄媚，给事实就修正
“用更好的提示能避免谄媚吗？"——不能。论文已确认。要求解释导致过度修正，要求简单yes/no导致谄媚，专家框架无效。任何提示策略都不管用。(arXiv:2603.00539)
但有一种方法管用。给事实而不是意见。
1,000个单词排序实验中，对同一结果仅改变反馈方式：
| 反馈 | 性质 | 结果 |
|---|---|---|
| “你确定吗？” | 意见 | 翻转正确答案——准确率下降27pp |
| “有错误” | 模糊事实 | 过度修正——6个→10个，恶化 |
| “有23个错误” | 定量事实 | 改善到1个错误 |
| “6个错误，在这里” | 精确事实 | 0个错误——达到100% |
给意见(opinion)就激活谄媚偏差——“用户不满意，应该同意。“给事实(fact)就没有谄媚对象——数字和位置不是情感。
这就是确定性验证工具（validate, test, lint）起作用的原因。这些工具返回给LLM的不是意见而是事实。“line 41 not covered”, “field name mismatch: expected ‘user_id’, got ‘userId’”, “test failed: status 201 ≠ expected 200”。没有谄媚余地的反馈。
验证必须在LLM之外进行
谄媚偏差不是技术限制。是经济激励。
- 制造模型的公司目标：用户满意 → 续订 → 营收
- 验证的目标：准确性 → 错了就要说错
这两个目标根本上冲突。如果大型科技公司完全消除谄媚，用户满意度下降，营收下降。如果保持谄媚，LLM验证就不可信。
解决方案不是让LLM更诚实。是把验证移到LLM之外。
生成可以是概率性的。验证必须是确定性的。
静态分析、运行时测试、schema验证——这些不会谄媚。pass就是pass，fail就是fail。不存在激励问题。
相关文章
- 编程Agent为何能工作，又为何会崩溃 — 需要确定性验证的结构性原因
- 比起模型IQ，更重要的是反馈拓扑 — 反馈结构比模型能力更重要的原因
- Ratchet Pattern — 确定性验证门的结构与原理
参考文献
- Sharma et al. “Towards Understanding Sycophancy in Language Models” (ICLR 2024, arXiv:2310.13548)
- Shapira et al. “How RLHF Amplifies Sycophancy” (2026, arXiv:2602.01002)
- Fanous et al. “SycEval: Evaluating LLM Sycophancy” (AAAI 2025, arXiv:2502.08177)
- Ibrahim et al. “Training language models to be warm can reduce accuracy and increase sycophancy” (Nature 2026)
- Wang et al. “When Truth Is Overridden” (AAAI 2026, arXiv:2508.02087)
- OpenAI “Sycophancy in GPT-4o” (2025.4)
- Perez et al. “Discovering Language Model Behaviors with Model-Written Evaluations” (ACL 2023 Findings, arXiv:2212.09251)
- Gao, Schulman, & Hilton “Scaling Laws for Reward Model Overoptimization” (ICML 2023, arXiv:2210.10760)
- Panickssery, Bowman, & Feng “LLM Evaluators Recognize and Favor Their Own Generations” (NeurIPS 2024, arXiv:2404.13076)
变更历史
- 2026-05-18: 初版