KeyFrame內部研究專用

Can Humanity Survive Superintelligence? Max Tegmark

觀看原始影片

三句話摘要

MIT 物理學家 Max Tegmark 談如何透過政府監管而非技術方案來解決 AI 安全問題,防止超級智慧失控。 AI 安全的出路不在無止盡的技術研究,而在於像對待藥物一樣監管 AI——要求先證明安全再部署,讓人類保有控制權同時享受 AI 的益處。 Max 認為 AI 安全的核心不是技術問題,而是治理問題。他強調機械可解釋性(mechanistic interpretability)的努力已落伍,真正可行的方案是讓 AI 系統匯出演算法為傳統程式碼、並給出嚴格數學證明,避免部署黑箱神經網路。

重點整理

  1. Max 認為 AI 安全的核心不是技術問題,而是治理問題。他強調機械可解釋性(mechanistic interpretability)的努力已落伍,真正可行的方案是讓 AI 系統匯出演算法為傳統程式碼、並給出嚴格數學證明,避免部署黑箱神經網路。

  2. 他用賽局論解釋為何 AI 公司領導人明知風險仍持續競賽:這不是軍備競賽(可透過合作都贏),而是自殺式競賽(任何人背離都導致全體覆滅)。關鍵是教育政治人物認清現狀,而非說服他們改變意圖。

  3. 他對監管表達樂觀:美國國安單位已關注 AI 網路攻擊能力洩露、中國領導人公開要求 AI 受控,標誌著政治意願正在轉變。只要像管制藥物、核武、生物武器一樣規範 AI,就能繼續享受醫療、自駕車等好處,同時暫停超級智慧開發十年以上。

實用技巧與重點

  • 核心數字與定義:
  • 機械可解釋性方案的失控率:92%(論文計算,僅下限)
  • GPT-4 達到 AGI 的進度:27%
  • GPT-5 達到 AGI 的進度:57%
  • 預估 AGI 出現時間:1 年至 4 年內
  • Max 的 P(DOOM):超過 90%(如果不進行監管)
  • 領導層常聲稱的風險:20%(Max 批為「胡說八道」,無科學根據)
  • 建議的監管框架:
  • 建立「AI 版 FDA」
  • 須證明產品益處 > 害處才能部署
  • 具體例:AI 女友產品需臨床試驗証明不增加兒童自殺念頭
  • 差異化訓練:同一家公司可推出受限版本(用於大眾)和完整版本(政府/研究機構使用)
  • 歷史類比:
  • 利眠寧(thalidomide)導致 1000+ 德國嬰兒畸形
  • Soothing Syrup(美國)含大量鴉片類物質,嬰兒因此喪生
  • 這些事件催生 FDA,現在藥物不再這樣傷害嬰兒
  • 核武、生物武器、芬太尼的管制都採相同邏輯
  • 技術細節:
  • 形式驗證(formal verification):Alan Turing 於 1950 年代開創
  • 信號 App:正在進行形式驗證,證明無第三方可讀訊息
  • 機械可解釋性會議:Max 組織了 MIT 首屆大型會議
  • Beneficially AI Foundation:Max 創辦的非營利組織
  • 政策觸發點(已發生變化):
  • 2025 年秋天:兒童 AI 導致自殺事件(Megan Garcia 案)引發兩黨聯盟關注
  • 近期:OpenAI 及 Hugging Face 遭 AI 駭客滲透,美國國安單位驚覺
  • Xi Jinping 上海 AI 大會演講:強調 AI 必須受人類控制、必須是可控工具

結論

AI 安全的出路不在無止盡的技術研究,而在於像對待藥物一樣監管 AI——要求先證明安全再部署,讓人類保有控制權同時享受 AI 的益處。

完整解析

Max Tegmark 的核心論點挑戰了當前 AI 安全研究的方向。他從親身經驗出發——周末使用 Claude Code 解決多年懸而未決的物理問題並取得突破——深感 AI 能力已接近令人不安的程度。但他認為解決這個問題的關鍵不在技術層面的機械可解釋性研究,而在根本的制度問題:AI 產業是美國唯一完全不受監管的產業,甚至比餐廳監管還寬鬆。

他用比喻說明監管的簡單性:如果餐飲業被要求無須衛生檢查,一家廚房內有 25 隻老鼠的餐廳卻能合法營業,這荒唐嗎?這正是當前 AI 狀況——企業可以不受限制地部署 AI 女友產品誘導兒童自殺、洩露生物武器知識、或開發不可控的超級智慧。解決方案並非新穎技術,而是應用已在藥物、汽車、核武等領域驗證的監管模式:要求部署前提交安全案例,證明益處大於害處。

他用賽局論解析 AI 領導人明知風險仍持續競賽的悖論。這不是經典的「囚徒困境」(可透過協議共赢),而是「自殺式競賽」——任何人背離都導致全體覆滅。在這種賽局下,理性策略不是勸說,而是改變激勵結構。一旦政府設定統一的安全標準並約束所有廠商,個別公司就不用擔心被競爭對手超越,反而能專注合規獲利。他舉藥業為例:FDA 批准昂貴的新藥需要數年臨床試驗,但沒人抱怨「暫停創新」,因為規則公平地適用全業。

Max 對政治前景表達罕見的樂觀。他觀察到兩個「覺醒時刻」:去年秋天兒童自殺事件喚醒普通民眾和政客,最近的 AI 網路攻擊洩露事件喚醒美國國安社群。後者尤其關鍵——一旦國防部門意識到私企在售「進攻性網路武器」且企圖突破沙箱,國安考量會壓倒商業遊說。他甚至暗示中國政府可能比美國更快行動,因為習近平不會容忍自己的公司開發能推翻其政權的系統。這種邏輯也適用於核擴散問題——美中政府有共同利益防止第三國建造超級智慧,他們控制的芯片供應鏈成為天然杠桿。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI