| 事件 OpenAI 于 2025 年 9 月 4 日联合多家科研机构发布理论报告《Why Language Models Hallucinate》，系统性阐释大语言模型产生幻觉的内在机制，指出其根源于概率生成范式下的表征偏移与训练数据偏差，并提出应从评测体系构建与训练流程优化双路径入手建立治理框架。该研究为AI 可信性治理提供了理论依据与方法支撑，推动行业从粗放型模型扩展向精细化、高可信方向演进，进而带动AI 全产业链估值体系重构。 点评 报告揭示了语言模型幻觉产生的内在机制与其训练阶段的关联。该研究指出，即使训练数据完全正确，基于统计概率的预训练目标也必然导致一定比例的错误生成；作者通过将“回答有效性”构建为二分类任务，证明生成错误率与分类错误概率存在明确的理论关联。值得注意的是，报告显示模型在预训练阶段输出校准较好，而经过人类反馈强化学**（RLHF）后却呈现“过度自信”特性，这为解释模型为何常以高置信度生成似是而非的内容提供了关键可视化证据，也提示当前对齐技术可能加剧幻觉风险。 报告进一步分析了特定类型事实的幻觉产生机制。作者指出，如个人生日或论文题目等“任意事实”在训练语料中往往仅出现一次或频次很低，这类事实的高稀疏性是导致模型更易产生幻觉的关键原因；研究通过“单例率”量化此类稀疏性，并证明其数值实际上构成了模型在该类问题上最低错误率的下界。这一机制清晰解释了为何高频率常识性问题通常回答准确，而低频率长尾知识则更易出现幻觉，也为优化训练数据分布以控制系统性幻觉风险提供了理论依据。 评测机制的设计缺陷是导致模型幻觉难以根治的重要因素。报告指出，当前主流评测基准（如MMLU-Pro、GPQA、SWE-bench 等）普遍采用“正确计1 分、错误或不知道计0 分”的二元评价体系，该机制实质上激励模型在不确定时仍倾向于猜测而非拒绝生成。此类“考试模式”迫使模型为获取分数概率最大化而放弃稳健性，显著提高了虚构答案的生成倾向，从而系统性地加剧幻觉风险，也反映出现有评估框架在与实际应用安全性对齐方面存在明显不足。 报告提出一条具高落地性的治理路径，即优先从评测机制入手优化模型确定性。该方法建议在主流基准（如MMLU-Pro、GPQA 等）中明确设置“信心阈值”及相应错误惩罚机制，例如规定“仅当把握度高于75%方可作答，否则应回答‘不知道’”，并将该规则写入题目说明和计分体系。此类设计既可维持测试覆盖的广度，又能有效激励模型在低确定性情况下主动表达不确定性，相比开发专用幻觉测试集，更能够系统性地对齐实际应用场景中对输出可靠性的需求，也为模型迭代提供更具指导性的评估信号。 风险 1）需求疲软 2）供应链风险3）竞争加剧。 |
