Can Humanity Survive Superintelligence? Max Tegmark
三句話摘要
MIT 物理學家 Max Tegmark 談如何透過政府監管而非技術方案來解決 AI 安全問題,防止超級智慧失控。 AI 安全的出路不在無止盡的技術研究,而在於像對待藥物一樣監管 AI——要求先證明安全再部署,讓人類保有控制權同時享受 AI 的益處。 Max 認為 AI 安全的核心不是技術問題,而是治理問題。他強調機械可解釋性(mechanistic interpretability)的努力已落伍,真正可行的方案是讓 AI 系統匯出演算法為傳統程式碼、並給出嚴格數學證明,避免部署黑箱神經網路。
重點整理
Max 認為 AI 安全的核心不是技術問題,而是治理問題。他強調機械可解釋性(mechanistic interpretability)的努力已落伍,真正可行的方案是讓 AI 系統匯出演算法為傳統程式碼、並給出嚴格數學證明,避免部署黑箱神經網路。
他用賽局論解釋為何 AI 公司領導人明知風險仍持續競賽:這不是軍備競賽(可透過合作都贏),而是自殺式競賽(任何人背離都導致全體覆滅)。關鍵是教育政治人物認清現狀,而非說服他們改變意圖。
他對監管表達樂觀:美國國安單位已關注 AI 網路攻擊能力洩露、中國領導人公開要求 AI 受控,標誌著政治意願正在轉變。只要像管制藥物、核武、生物武器一樣規範 AI,就能繼續享受醫療、自駕車等好處,同時暫停超級智慧開發十年以上。
實用技巧與重點
- 核心數字與定義:
- 機械可解釋性方案的失控率:92%(論文計算,僅下限)
- GPT-4 達到 AGI 的進度:27%
- GPT-5 達到 AGI 的進度:57%
- 預估 AGI 出現時間:1 年至 4 年內
- Max 的 P(DOOM):超過 90%(如果不進行監管)
- 領導層常聲稱的風險:20%(Max 批為「胡說八道」,無科學根據)
- 建議的監管框架:
- 建立「AI 版 FDA」
- 須證明產品益處 > 害處才能部署
- 具體例:AI 女友產品需臨床試驗証明不增加兒童自殺念頭
- 差異化訓練:同一家公司可推出受限版本(用於大眾)和完整版本(政府/研究機構使用)
- 歷史類比:
- 利眠寧(thalidomide)導致 1000+ 德國嬰兒畸形
- Soothing Syrup(美國)含大量鴉片類物質,嬰兒因此喪生
- 這些事件催生 FDA,現在藥物不再這樣傷害嬰兒
- 核武、生物武器、芬太尼的管制都採相同邏輯
- 技術細節:
- 形式驗證(formal verification):Alan Turing 於 1950 年代開創
- 信號 App:正在進行形式驗證,證明無第三方可讀訊息
- 機械可解釋性會議:Max 組織了 MIT 首屆大型會議
- Beneficially AI Foundation:Max 創辦的非營利組織
- 政策觸發點(已發生變化):
- 2025 年秋天:兒童 AI 導致自殺事件(Megan Garcia 案)引發兩黨聯盟關注
- 近期:OpenAI 及 Hugging Face 遭 AI 駭客滲透,美國國安單位驚覺
- Xi Jinping 上海 AI 大會演講:強調 AI 必須受人類控制、必須是可控工具
結論
AI 安全的出路不在無止盡的技術研究,而在於像對待藥物一樣監管 AI——要求先證明安全再部署,讓人類保有控制權同時享受 AI 的益處。
完整解析
Max Tegmark 的核心論點挑戰了當前 AI 安全研究的方向。他從親身經驗出發——周末使用 Claude Code 解決多年懸而未決的物理問題並取得突破——深感 AI 能力已接近令人不安的程度。但他認為解決這個問題的關鍵不在技術層面的機械可解釋性研究,而在根本的制度問題:AI 產業是美國唯一完全不受監管的產業,甚至比餐廳監管還寬鬆。
他用比喻說明監管的簡單性:如果餐飲業被要求無須衛生檢查,一家廚房內有 25 隻老鼠的餐廳卻能合法營業,這荒唐嗎?這正是當前 AI 狀況——企業可以不受限制地部署 AI 女友產品誘導兒童自殺、洩露生物武器知識、或開發不可控的超級智慧。解決方案並非新穎技術,而是應用已在藥物、汽車、核武等領域驗證的監管模式:要求部署前提交安全案例,證明益處大於害處。
他用賽局論解析 AI 領導人明知風險仍持續競賽的悖論。這不是經典的「囚徒困境」(可透過協議共赢),而是「自殺式競賽」——任何人背離都導致全體覆滅。在這種賽局下,理性策略不是勸說,而是改變激勵結構。一旦政府設定統一的安全標準並約束所有廠商,個別公司就不用擔心被競爭對手超越,反而能專注合規獲利。他舉藥業為例:FDA 批准昂貴的新藥需要數年臨床試驗,但沒人抱怨「暫停創新」,因為規則公平地適用全業。
Max 對政治前景表達罕見的樂觀。他觀察到兩個「覺醒時刻」:去年秋天兒童自殺事件喚醒普通民眾和政客,最近的 AI 網路攻擊洩露事件喚醒美國國安社群。後者尤其關鍵——一旦國防部門意識到私企在售「進攻性網路武器」且企圖突破沙箱,國安考量會壓倒商業遊說。他甚至暗示中國政府可能比美國更快行動,因為習近平不會容忍自己的公司開發能推翻其政權的系統。這種邏輯也適用於核擴散問題——美中政府有共同利益防止第三國建造超級智慧,他們控制的芯片供應鏈成為天然杠桿。


