为什么语言模型会“幻觉”:追根溯源,找出答案 2025 年 9 月 5 日,OpenAI 发布了一篇解析“语言模型为何产生幻觉(hallucination)”的官方文章,指出根源在于训练和评估机制过度奖励“猜对”,而缺乏鼓励模型坦诚表达“不知道”。 主要观点包括: 1️⃣ 信息生成机制让模型倾向“自信乱猜” 在 accuracy-only 的评测体系中,模型被训练成尽量给答案,即使不确定也宁愿编造一个,而不是直接承认“不知道”。 2️⃣ 训练方式决定了事实判断力有限 语言模型在大规模语料上学习“预测下一个词”,并不是学习分辨真伪。尤其是一些数据中只出现过一次的“冷门事实”,最容易出现“幻觉”。 3️⃣ 改变评估标准或能减少幻觉 OpenAI 建议在评测中惩罚“自信错误”,并奖励模型说“我不确定”或主动追问澄清,让回答更诚实、更安全。 4️⃣ 并非所有事实都难以回答 对于常见的数学运算、热门书名或结构化知识,模型往往能更准确。真正让它“胡编”的,是那些缺乏上下文支持的边缘细节。 这些机制背后,其实和用户体验息息相关。比如你在用 AI 搜索冷门资料时,可能会得到一本“看似合理”的假书名,或者一个编造的研究数据。如果你没有核实,很可能误以为是真的。这正是“幻觉”带来的最大风险。 未来,如何让 AI 在“不知道”和“猜一个答案”之间做出更安全的选择,将是衡量技术成熟度的重要标准。 🔹 你在使用 AI 时,更担心它“自信错误”还是“不敢说”?你是否遇到过被 AI“一本正经胡说八道”的经历?欢迎在评论区分享! ai幻觉 语言模型 OpenAI研究 AI可靠性
为什么语言模型会“幻觉”:追根溯源,找出答案 2025年9月5日,O
游乐看科技
2025-09-07 13:34:02
0
阅读:34
真实世界研究
这也是为什么考试判断题。从做对得一分,做错得0分,变成做对得一分,做错扣一分,空着不做得0分的原因