KeyFrame內部研究專用

AI为什么会出现幻觉? 一期视频帮你搞清楚!四个高危场景+四句话,让它别再骗你

YAHA学堂中文
觀看原始影片

三句話摘要

大型語言模型編造信息的根本原因:評分機制獎勵猜測勝於誠實認知。 最值得警惕的是:人對 AI 的信任度下降比 AI 的錯誤率下降更快,當模型變得 99% 準確時,你會停止檢查,而那 1% 的錯誤仍會直接進入你的最終產出。 編造現象規模確實存在:Stanford 用真實聯邦法庭判決測試四個主流模型 80 萬次以上,發現 LLM 回答特定法律問題時編造率從 58% 到 88% 不等。即使宣稱能通過律師資格考,對特定案件判決的錯誤率仍高達 75%,因為模型可能見過考試題但從未見過該案件的完整推理。

重點整理

  1. 編造現象規模確實存在:Stanford 用真實聯邦法庭判決測試四個主流模型 80 萬次以上,發現 LLM 回答特定法律問題時編造率從 58% 到 88% 不等。即使宣稱能通過律師資格考,對特定案件判決的錯誤率仍高達 75%,因為模型可能見過考試題但從未見過該案件的完整推理。

  2. 編造乃機制而非故障:語言模型按統計機率逐字預測,當問題涉及訓練資料稀疏的領域(罕見、特定、最近),模型沒有「不知道」的開關,只能繼續預測下一個詞。結果是完美自信的虛假答案,但信心度與正確率完全無關。

  3. 模型內部實際知道真相:研究人員通過解析內部激活值發現,一個簡單分類器能以 71-83% 準確率判斷陳述真偽,高於模型自己賦予的機率。這證明判斷信息可靠性的訊息存在於模型內部,只是沒傳達到輸出層。

  4. 評分系統才是罪魁禍首:OpenAI 論文說明,在只計算正確答案的系統中,盲目猜測(1/365 成功率)比承認不知道(零分)更優。數千次累積後,會猜測的模型分數永遠更高,導致行業最佳實踐變成「優化猜測能力」而非「培養誠實承認無知」。

實用技巧與重點

  • 量化數據:
  • Stanford 測試規模:4 個模型 × 各 200,000 次查詢 = 800,000+ 次
  • 編造率:GPT-4(58%)、Llama(88%)
  • 特定案件判決錯誤率:75% 以上
  • 內部分類器準確率:71-83%
  • 真實案例:
  • 2023 年美國律師案例:引用 8 個虛構判決,事務所被罰 $5,000
  • 法庭 AI 編造案例總數:超過 1,500 起(持續增加)
  • 涉及執業律師案件:600+ 起
  • 關鍵術語與標準:
  • OpenAI 論文:《Why Language Models Hallucinate》(2025 年 9 月)
  • 主流基準測試:GPQA、MMLU Pro、BBH
  • Anthropic 政策:模型必須保持「校準不確定性」

結論

最值得警惕的是:人對 AI 的信任度下降比 AI 的錯誤率下降更快,當模型變得 99% 準確時,你會停止檢查,而那 1% 的錯誤仍會直接進入你的最終產出。

完整解析

大型語言模型編造信息的問題遠比表面嚴重。Stanford 的大規模測試表明,主流模型在回答特定法律問題時的編造率高達 58% 到 88%。令人震驚的是,即使這些模型聲稱能通過律師資格考試,但當被問到特定案件判決時,錯誤率高達 75%。這個矛盾揭示了一個關鍵差異:模型可能在考試題目上見過無數次,但從未見過特定案件的完整推理過程。

要理解編造現象,必須先明白語言模型的運作原理。它們像手機鍵盤預測文字一樣工作——通過統計學習預測最可能出現的下一個詞彙。當你提問時,模型並非從資料庫檢索答案,而是一個字一個字地計算最可能的詞序。對於常見問題,訓練資料豐富,模型迅速準確;但對於罕見、特定或最近的問題,訓練資料變得稀疏。在這種情況下,模型既不知道答案,也沒有「不知道」的開關——它只能繼續執行唯一的功能:預測下一個詞。最危險的地方在於,這個虛構的答案與正確答案講述方式完全相同,充滿自信,但信心度與正確性毫無關聯。

研究發現模型實際上「知道」自己在編造。科研人員通過檢查內部激活值,訓練一個簡單分類器判斷陳述真偽,結果準確率達 71% 到 83%——高於模型自己賦予的機率。這證明判斷訊息可靠性的資訊確實存在於模型內部,只是沒有完全傳達到輸出層。那麼根本原因是什麼?OpenAI 在 2025 年 9 月發表的論文提供了最符合邏輯的解釋:編造不是模型故障,而是評分機制強加的必然結果。

想象這樣一個場景:模型被問某人的生日但完全無知,有兩個選擇。說「我不知道」得零分;盲目猜測得 1/365 的成功率。單次無法看出差別,但在數千次累積下,會猜測的模型永遠得分更高。而這些分數被用來決定模型排名和「改進」程度。主流基準如 GPQA、MMLU Pro 和 BBH 中,「我不知道」被給零分。在這樣的系統中,模型被激勵去猜測而非誠實認知。行業最佳實踐因而變成「優化猜測能力」而非「培養誠實承認無知」。

現實成本已充分顯現。2023 年美國一起案件中,律師用 ChatGPT 做法律研究,將結果寫入法庭文件,完整引用了 8 個案例的名稱、卷號和引文——格式無懈可擊,但全是虛構。對方律師無法找到這些案例,法院也找不到。那兩名律師和事務所被罰款 $5,000。此後有人建立數據庫追蹤全球法庭因 AI 編造內容而出現的案件,到今日已超過 1,500 起,其中涉及執業律師的案件超過 600 起——那些職業生涯建立在精確引用基礎上的人。這不是無知的問題,而是數學問題——他們知道風險存在,但基於模型準確度提高了賭注,直到那一次賭輸。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。