AI为什么会出现幻觉? 一期视频帮你搞清楚!四个高危场景+四句话,让它别再骗你
三句話摘要
大型語言模型編造信息的根本原因:評分機制獎勵猜測勝於誠實認知。 最值得警惕的是:人對 AI 的信任度下降比 AI 的錯誤率下降更快,當模型變得 99% 準確時,你會停止檢查,而那 1% 的錯誤仍會直接進入你的最終產出。 編造現象規模確實存在:Stanford 用真實聯邦法庭判決測試四個主流模型 80 萬次以上,發現 LLM 回答特定法律問題時編造率從 58% 到 88% 不等。即使宣稱能通過律師資格考,對特定案件判決的錯誤率仍高達 75%,因為模型可能見過考試題但從未見過該案件的完整推理。
重點整理
編造現象規模確實存在:Stanford 用真實聯邦法庭判決測試四個主流模型 80 萬次以上,發現 LLM 回答特定法律問題時編造率從 58% 到 88% 不等。即使宣稱能通過律師資格考,對特定案件判決的錯誤率仍高達 75%,因為模型可能見過考試題但從未見過該案件的完整推理。
編造乃機制而非故障:語言模型按統計機率逐字預測,當問題涉及訓練資料稀疏的領域(罕見、特定、最近),模型沒有「不知道」的開關,只能繼續預測下一個詞。結果是完美自信的虛假答案,但信心度與正確率完全無關。
模型內部實際知道真相:研究人員通過解析內部激活值發現,一個簡單分類器能以 71-83% 準確率判斷陳述真偽,高於模型自己賦予的機率。這證明判斷信息可靠性的訊息存在於模型內部,只是沒傳達到輸出層。
評分系統才是罪魁禍首:OpenAI 論文說明,在只計算正確答案的系統中,盲目猜測(1/365 成功率)比承認不知道(零分)更優。數千次累積後,會猜測的模型分數永遠更高,導致行業最佳實踐變成「優化猜測能力」而非「培養誠實承認無知」。
實用技巧與重點
- 量化數據:
- Stanford 測試規模:4 個模型 × 各 200,000 次查詢 = 800,000+ 次
- 編造率:GPT-4(58%)、Llama(88%)
- 特定案件判決錯誤率:75% 以上
- 內部分類器準確率:71-83%
- 真實案例:
- 2023 年美國律師案例:引用 8 個虛構判決,事務所被罰 $5,000
- 法庭 AI 編造案例總數:超過 1,500 起(持續增加)
- 涉及執業律師案件:600+ 起
- 關鍵術語與標準:
- OpenAI 論文:《Why Language Models Hallucinate》(2025 年 9 月)
- 主流基準測試:GPQA、MMLU Pro、BBH
- Anthropic 政策:模型必須保持「校準不確定性」
結論
最值得警惕的是:人對 AI 的信任度下降比 AI 的錯誤率下降更快,當模型變得 99% 準確時,你會停止檢查,而那 1% 的錯誤仍會直接進入你的最終產出。
完整解析
大型語言模型編造信息的問題遠比表面嚴重。Stanford 的大規模測試表明,主流模型在回答特定法律問題時的編造率高達 58% 到 88%。令人震驚的是,即使這些模型聲稱能通過律師資格考試,但當被問到特定案件判決時,錯誤率高達 75%。這個矛盾揭示了一個關鍵差異:模型可能在考試題目上見過無數次,但從未見過特定案件的完整推理過程。
要理解編造現象,必須先明白語言模型的運作原理。它們像手機鍵盤預測文字一樣工作——通過統計學習預測最可能出現的下一個詞彙。當你提問時,模型並非從資料庫檢索答案,而是一個字一個字地計算最可能的詞序。對於常見問題,訓練資料豐富,模型迅速準確;但對於罕見、特定或最近的問題,訓練資料變得稀疏。在這種情況下,模型既不知道答案,也沒有「不知道」的開關——它只能繼續執行唯一的功能:預測下一個詞。最危險的地方在於,這個虛構的答案與正確答案講述方式完全相同,充滿自信,但信心度與正確性毫無關聯。
研究發現模型實際上「知道」自己在編造。科研人員通過檢查內部激活值,訓練一個簡單分類器判斷陳述真偽,結果準確率達 71% 到 83%——高於模型自己賦予的機率。這證明判斷訊息可靠性的資訊確實存在於模型內部,只是沒有完全傳達到輸出層。那麼根本原因是什麼?OpenAI 在 2025 年 9 月發表的論文提供了最符合邏輯的解釋:編造不是模型故障,而是評分機制強加的必然結果。
想象這樣一個場景:模型被問某人的生日但完全無知,有兩個選擇。說「我不知道」得零分;盲目猜測得 1/365 的成功率。單次無法看出差別,但在數千次累積下,會猜測的模型永遠得分更高。而這些分數被用來決定模型排名和「改進」程度。主流基準如 GPQA、MMLU Pro 和 BBH 中,「我不知道」被給零分。在這樣的系統中,模型被激勵去猜測而非誠實認知。行業最佳實踐因而變成「優化猜測能力」而非「培養誠實承認無知」。
現實成本已充分顯現。2023 年美國一起案件中,律師用 ChatGPT 做法律研究,將結果寫入法庭文件,完整引用了 8 個案例的名稱、卷號和引文——格式無懈可擊,但全是虛構。對方律師無法找到這些案例,法院也找不到。那兩名律師和事務所被罰款 $5,000。此後有人建立數據庫追蹤全球法庭因 AI 編造內容而出現的案件,到今日已超過 1,500 起,其中涉及執業律師的案件超過 600 起——那些職業生涯建立在精確引用基礎上的人。這不是無知的問題,而是數學問題——他們知道風險存在,但基於模型準確度提高了賭注,直到那一次賭輸。


