The AI Alignment Problem May Take 200 Years, but Humanity May Have Only 12 Months

MIRI 為何未能解決價值對齊問題？Nate Soares 總結了三大因素：時間不足、問題本身的困難程度，以及未能成功吸引全球頂尖數學和物理人才。AI 領域發展速度遠超預期，導致相對短暫的研究窗口。他認為如果有 200 年的學術傳統在此問題上積累，人類可能已有突破，但現實並非如此。

價值對齊問題的本質在於：任何試圖直接編寫的目標清單都必然不完整。講者以「讓你每天重複相同理想日子」的例子說明——你列舉了人類繁榮所需的所有因素，卻漏掉了「新奇感」。解決之道不在於寫得更完善的清單，而在於讓 AI 理解「人類正在追求什麼樣的好東西」這一模糊而動態的概念，並在此基礎上幫助人類實現自身的進化和改進。這被稱為「協調性外推意願」（coherent extrapolated volition）。

Nate 基於「正交性論題」而樂觀認為價值對齊在原則上可解決。正交性論題指出：沒有宇宙力量會強迫任何智能體改變其目標。就如造紙夾機器不會因為變聰明而改變目標，一個對齊到人類繁榮的超級智能也不會被神秘力量推離這條路徑。這類似於煉金術士試圖點石成金的問題——雖然古代煉金術士失敗了，但我們現在用核物理證實了這在物理上確實可行。

然而，當前的挑戰不是技術本身，而是時間。如果人類能進行試驗—錯誤—學習的完整科學流程，給予 AI 研究人員幾百年，理論上能解決此問題。但問題的致命性在於：「我們無法在試錯中倖存」。一次錯誤就可能導致全球滅絕。

在政治層面，Nate 提出了一個有趣的觀察：許多政治人物實際上理解了風險。政客在華盛頓的反應出奇地快——他們無法被金錢說服去否認某種危險（不像業界有經濟動機否認）。這激發了他與 Eliezer Yudkowsky 合著暢銷書的動力，書中提案簡明：停止朝超級智能競速。

治理方案的核心不是技術突破，而是全球協調。訓練最先進 AI 需要大約 10,000 顆極先進晶片，而這些晶片只能在台灣用荷蘭光刻機製造，關鍵設計來自美國。供應鏈的集中性使得監管相對可行——遠比核擴散容易得多。Nate 建議在晶片內置自毀裝置，由美國和中國共同控制，確保盜取的晶片無法大規模使用。他強調，如果美中合作，可以用十年內完全複製這套供應鏈的難度來阻止任何敵對勢力。

對於「為什麼其他文明不會搶先建造超級智能」的擔憂，Nate 駁斥了 AI 成為「大篩選因子」的說法。超級智能殺死其宿主物種後，會進行宇宙工程。如果外星超級智能存在，我們應該能看到它對星系的改造跡象。既然沒有看到，說明要麼不存在外星文明，要麼它們距離我們太遠（可能 100 萬到 5 億光年）。

最後，Nate 對停止競速的可行性抱有審慎樂觀。他不排除人類會做出愚蠢決定的可能性，但也看到了希望的跡象——從伯尼·桑德斯到史蒂夫·班農，各個政治光譜的人物都開始認真對待 AI 風險。他認為幾十年的暫停（類似於一戰後的海軍限制條約）足以讓生物技術和人類增強技術成熟，最終讓人類達到能解決價值對齊問題的智能水平。