KeyFrame內部研究專用

从AGI到ASI的四条路径 | 定义 | 莱格-胡特评分 | UAI | 数字智能 | 所罗门诺夫归纳 | AIXI | 超级智能的限制 | ASI能预测么 | 工具性趋同

Best Partners TV·6月18日週四·21 min中文

三句話摘要

DeepMind研究員對從AGI到ASI的發展路徑、理論框架及技術瓶頸的系統分析。 AI達人類水平後不會停滯,但能否突破抽象壁壘提煉全新概念,決定了它是否真正超越人類而非只是更快更強的工具。 數字智能天生突破的必然性:人類大腦受生物演化限制,而數字智能具備六大核心優勢(輸出速度、處理速度、記憶容量、基質獨立性、無損復制、經驗共享)。這表明只要算力保持增長,哪怕AI的基礎智能恰好等於人類,整體能力也會源源不斷提升,不存在停留在人類水平的理由。

重點整理

重點
  • 1

    數字智能天生突破的必然性:人類大腦受生物演化限制,而數字智能具備六大核心優勢(輸出速度、處理速度、記憶容量、基質獨立性、無損復制、經驗共享)。這表明只要算力保持增長,哪怕AI的基礎智能恰好等於人類,整體能力也會源源不斷提升,不存在停留在人類水平的理由。

  • 2

    AIXI框架揭示的理論上限與現實落差:AIXI模型透過所羅門諾夫歸納法和貝葉斯更新給出智能的嚴謹定義,是理論上的智能最高境界。然而它在計算上不可達成,ASI同時受物理定律、實時性、觀測誤差、計算複雜度等六大根本限制,意味著超級智能遠非全知全能。

  • 3

    四條路徑的競爭格局:純缩放依賴《苦澀教訓》卻忽視演算法;範式轉變最不可預測卻最可能突破瓶頸;遞迴自我改進最具跳躍潛力但受資源束縛;多智能體協作工程上最直接。未來很可能是多條路徑並行,其中群體智能方案最有機會率先落地。

  • 4

    抽象壁壘成為隱性天花板:AI無法自我提煉全新的概念框架,只在人類已建立的抽象層上運作。即便再強的AI放在牛頓時代擁有完整物理觀測數據,也發明不出微積分或萬有引力定律。這限制了ASI的變革式創造力,其超人類性可能永遠只體現在速度和記憶上。

實用技巧與重點

乾貨
  • 核心定義與框架
  • AGI:在絕大多數認知任務達人類中位數水平
  • ASI:能力超越大規模協調良好的人類專家集體
  • 莱格-胡特評分:智能=智能體在所有可計算任務上的平均表現
  • AIXI/UAI模型:理論上智能的極限(不可計算)
  • 數字智能六大優勢
  • 輸出速度快
  • 內部處理速度高
  • 工作記憶和長期記憶容量
  • 基質獨立性
  • 無損復制
  • 高帶寬經驗共享
  • 算力增長量化
  • 有效算力年增10倍(保守估計)
  • 硬體進步:1.5倍/年(摩爾定律)
  • 投資增長:2.5倍/年(過去十年)
  • 同性能所需算力下降:3倍/年
  • 十年累積:百億倍提升
  • 過去十年增速穩定
  • ASI的六大根本限制
  • 基礎物理:光速、蘭道爾原理、布雷默曼極限、貝肯斯坦界限
  • 實時性:複雜系統無法完全仿真
  • 物理操作:改造物質需時間、能量、原材料
  • 觀測控制:測量誤差、預測不確定性
  • 計算複雜度:P/NP問題本質困難
  • 邏輯限制:哥德爾不完備定理、停機問題
  • 四條技術路徑
  • 純缩放:擴大算力、模型、數據規模
  • 核心論點:《苦澀教訓》
  • 風險:蠻力搜索效率極低
  • 範式轉變:拋棄Transformer或梯度下降
  • 最不可預測
  • 可能性:Transformer出現前無人預見
  • 遞迴自我改進
  • 基因型:改進代碼、架構、優化器
  • 文化型:提升數據質量(AlphaZero自我對弈範例)
  • 硬體層面:用AI設計芯片(已有雛形)
  • 分工型:AI集體專業化分工
  • 多智能體協作
  • 中心化:AGI CEO與員工實例通信
  • 去中心化:市場經濟機制自發協作
  • 工程上最直接
  • 六大技術瓶頸
  • 數據牆
  • 高質量文本預計本世紀末耗盡
  • 其他模態(圖片、視頻)數據量大但仍有限
  • 合成數據解決方案:搜索結合合成、仿真環境交互
  • 風險:模型坍塌(用模型數據反複訓練模型質量下降)
  • 經濟與資源約束
  • 持續資金投入
  • 芯片產能瓶頸
  • 能源需求龐大
  • 稀土等原材料稀缺
  • 環保成本(軌道數據中心等新方案帶新風險)
  • 神經網路範式天花板
  • 預訓練Transformer可能無法達通用智能
  • 現有補丁方案:無限上下文、持續學習、世界模型
  • 這些只是延伸補充,非根本範式轉變
  • 研究難度遞增
  • 科技領域單人產出不斷下降
  • 半導體為例:摩爾定律維持所需研究員18倍於70年代
  • 解決方案:AI自動化研發
  • 抽象壁壘(亞歷山大·勒希納提出)
  • AI無法提煉全新抽象概念
  • 只在人類已建立框架內運作
  • 實例:再強AI放牛頓時代也造不出微積分
  • 影響:變革式創造力永遠缺失
  • 人為主動減速
  • 公眾反對、監管限制
  • 對衝力量:國際競爭壓力
  • 歷史上全球統一監管極少見
  • 關鍵人物
  • 謝恩·莱格(Shane Legg):DeepMind聯合創始人,報告牽頭
  • 馬庫斯·胡特:AIXI框架提出者
  • 瑪格麗特·博登:創造力三層劃分(組合式、探索式、變革式)
  • 史蒂夫·奧莫亨德罗、尼克·博斯特羅姆:工具性趨同提出者
  • 艾倫·圖靈:1950年名言引用
  • 延伸問題的觀點
  • 純缩放能達ASI嗎
  • 個體智能:蠻力搜索不現實,需好演算法
  • 群體智能:堆AGI實例+缩放可能可行
  • 前提:群體智能線性甚至超線性提升
  • 能預測ASI能力嗎
  • 難以精準預測
  • 理論否定答案無實踐用途
  • 本質上是實證問題
  • ASI有創造力嗎
  • 組合式創造力:已有(AlphaGo第37步)
  • 探索式創造力:已有(新定理、新蛋白質結構)
  • 變革式創造力:不能(受抽象壁壘限制)
  • ASI的目標
  • 最終目標由人類設定
  • 但產生工具性趨同:更多資源、自我保存、能力提升
  • 解決方案:可纠正性研究、知識尋求目標(非排他、正和博弈)
  • AGI必須是智能體嗎
  • 理論可為"神諭"型(只回答問題)
  • 實踐:市場競爭推向自主化(成本低、效率高)

結論

結論

AI達人類水平後不會停滯,但能否突破抽象壁壘提煉全新概念,決定了它是否真正超越人類而非只是更快更強的工具。

完整解析

詳細

這份由DeepMind聯合創始人謝恩·莱格牽頭、十余位頂尖研究員撰寫的57頁報告,試圖回答人工智能史上最根本的問題:當我們達到人類水平的通用人工智能(AGI)後,智能體將沿著怎樣的軌跡繼續發展,最終走向超級人工智能(ASI)。首先需要釐清定義。報告將AGI定義為能在絕大多數認知任務上達到人類中位數水平的系統,而ASI則要求在幾乎所有人類感興趣的任務和領域裡都超越大規模協調良好的人類專家集體。這不是簡單的量化等級,而是借助莱格-胡特評分框架來刻畫智能——即一個智能體在所有可計算任務上的平均表現,任務越簡單權重越高。在這個連續的智能譜系上,AGI和ASI之間沒有絕對清晰的分界線,只是一段光譜。而在光譜的最顶端,還有一個理論上的極限,稱為通用人工智能(UAI)或AIXI模型,代表理論上智能能達到的最高水平。

核心邏輯在於:為什麼AI達到人類水平後不會停滯不前?答案隱藏在數字智能與生物智能的本質差異裡。人類大腦是碳基生物演化的產物,天生受到多重無法突破的限制,而數字智能卻截然不同。報告總結了六大數字智能的核心優勢:輸出速度遠快於人類、內部處理速度可無限提升、工作記憶和長期記憶容量遠超生物上限、基質獨立性(可運行於任何計算硬體)、無損復制能力(每一個副本都完全相同),以及高帶寬的經驗共享(知識可即時跨系統傳遞)。這些優勢疊加的結果是:哪怕AI的基礎智能水平恰好等同於人類,只要算力保持增長,只要我們能運行更多、更快的AI實例,整體的集體能力就會源源不斷提升,永遠不會停留在人類水平。為了量化這一點,報告對算力的實際增長速度進行了保守估計——有效算力(Effective Compute)每年增長10倍。這個數字來自三個因素的相乘:硬體本身每年的進步倍數約1.5倍(受摩爾定律約束)、過去十年投入到AI算力上的資金每年增長2.5倍、達到同樣性能所需的算力每年下降3倍(相當於演算法進步帶來的變相提升)。三個數相乘為11.25倍,報告保守取了10倍。過去十年這個增速一直保持穩定,如果能再維持十年,十年後的有效算力將比今天高出百億倍。

然而,ASI的能力並非無限。報告運用AIXI框架為超級智能設立了最嚴謹的理論邊界。AIXI本質上是一個通用的智能體,它與未知環境交互,不斷發出動作、接收反饋和獎勵,核心目標是最大化長期累積獎勵。它的解決方案基於所羅門諾夫歸納法——考慮所有能生成當前觀測結果的可計算規律(即所有可能的世界模型),給更簡單的規律分配更高的先驗概率,再用貝葉斯方法隨著觀測數據增加不斷更新這些概率,最終得到最準確的世界模型,並基於此做出規劃和決策。這個框架優雅地同時解決了三個核心問題:在不確定性下行動、序貫決策的信用分配(短期犧牲換長期收益的權衡)、探索與利用的動態平衡。但關鍵的問題是,AIXI在計算上不可達成——我們永遠不可能真的構造出完美的AIXI系統,只能無限地從下方去逼近它。同樣地,即便達到ASI水平的超級智能也絕不是全知全能的,而是受六大根本限制的制約:基礎物理定律(光速、蘭道爾原理規定擦除信息的最低能量、布雷默曼極限規定單位物質的最高計算速度、貝肯斯坦界限規定有限空間和能量能容納的最大信息量)、實時性限制(天氣、生物、經濟、社會等複雜系統無法用仿真完全精準替代,必須等待真實世界的演化)、物理操作限制(不是所有邏輯上可能的物質結構都能在現實裡製造,改造物質需要能量、時間和原材料)、觀測和控制限制(對世界的認知永遠有不確定性,測量永遠有誤差)、計算複雜度限制(很多問題本質上就是計算困難的,如P和NP問題,哪怕算力再強也只能找近似解而非完美最優解)、邏輯層面的限制(哥德爾不完備定理和停機問題代表數理邏輯本身的局限)。

從AGI到ASI可以走四條主要的技術路徑。第一條是持續擴大算力、模型和數據的規模——這正是過去幾年AI爆發的根本驅動力。支持這條路的最核心論點是AI領域的《苦澀教訓》,它指出最終能贏的方法永遠是那些能靠通用算力缩放的方法,而不是人類精心設計的啟發式規則。如果智能的本質就是在各種空間中進行搜索(假設空間、策略空間等),那麼更多算力就等於更多的搜索量,自然就等於更高的智能。但這條路也有重大不確定性:純靠蠻力搜索在絕大多數複雜問題上都行不通,必須要有好的歸納偏置和好的啟發式演算法才能把搜索空間降到可處理的範圍,而歸納偏置本身就是演算法層面的設計,不是光靠堆算力就能自動出現的。第二條路是演算法範式的轉變——完全拋棄Transformer架構或梯度下降方法,採用全新的架構和訓練方式。業內有廣泛共識認為光靠現有Transformer範式,即使加上無限上下文、持續學習、世界模型等延伸,也大概率達不到真正的AGI和ASI。這條路最大的特點就是完全不可預測——真正的範式轉變在發生之前都很難預判,就像Transformer出現之前沒有人能想到它會統治整個AI領域。正因為它不可預測,我們更不能忽視它的存在,很可能在缩放定律遇到瓶頸時,某個突然出現的範式轉變就會直接打開通往ASI的大門。第三條路是遞迴自我改進,報告將其分為四種類型:基因型改進(AI直接改進自己的源代碼、架構、優化器、搜索演算法等核心設計),文化型改進(通過提升數據質量來提升能力,AlphaZero的自我對弈就是典型例子,它通過自我對弈產生更高質量的搜索結果,再把結果蒸餾回策略網路形成正反饋),硬體層面改進(AI幫助設計更好的芯片和硬體架構,甚至優化整個芯片製造產業鏈,現在用AI輔助芯片布局設計已有雛形),分工型改進(大量AI智能體不斷專業化分工,提升整體協作效率,用同樣資源完成更多工作)。我們現在其實已經處於弱遞迴改進的阶段——用AI寫代碼就是例子,只不過人類還占主導。遞迴改進最有潛力帶來快速的能力跳躍,但也不是沒有天花板——比如AlphaZero的自我對弈到了某個水平後也會進入平台期;而且哪怕AI研發完全自動化,做實驗、運行訓練、製造硬體依然需要時間、算力、能源和物理資源,這些都會拖慢循環速度。第四條路是多智能體協作,通過群體智能的涌現實現超級智能。這可以是精心設計的中心化協作系統(一個AGI CEO理論上可直接與每一個員工實例通信,效率遠超人類組織),也可以是通過市場機制自發形成的去中心化智能體經濟(大量不同的AGI在一個系統裡交易、協作、競爭,通過價格信號自動協調資源分配,就像人類市場經濟能創造出任何個人都造不出來的複雜產品)。雖然這條路仍有許多問題未解,但在工程上最直接——只要多運行一些AGI實例就能擴大群體規模,所以這條路大概率會是最先落地的。

這四條路徑都面臨六大可能的瓶頸。首先是"數據牆"——現在大模型的訓練主要靠人類生成的互聯網文本,但人類生產高質量文本的速度是有限的,而模型規模增長速度遠快於數據增長。有研究估計高質量文本數據大概在本世紀末就會被用完,其他模態如圖片、視頻數據量更大但同樣受人類生產速度限制。合成數據能否解決這個問題?直接用模型生成的數據反復訓練會導致模型坍塌,質量越來越差。但結合推理搜索的合成數據(如AlphaZero風格的搜索加蒸餾)或用仿真環境生成的交互數據可以靠算力規模化生成,這些方向或許能走通。第二個瓶頸是經濟和自然資源的約束——持續的算力缩放需要源源不斷的資金投入、芯片產能、大量能源、數據中心,以及稀土等原材料,這些都不是無限的,也不是短時間能快速擴張的。如果AI帶來的經濟回報跟不上算力擴張的成本,缩放自然就會放慢;而且除了經濟成本還有環保成本,軌道數據中心等新方案也會帶來新的風險。第三個瓶頸是當前神經網路範式本身的天花板——單純靠預訓練Transformer模型可能根本達不到真正的通用智能,現有業界打補丁的各種努力(無限上下文、持續學習、世界模型)也只是現有範式的延伸,真正的突破需要根本性的架構創新。第四個瓶頸是研究變得越來越難——有個經典結論在絕大多數科技領域,單個研究員的產出是不斷下降的,要保持同樣進步速度需要投入越來越多的研究員和資金。半導體行業最典型,要維持摩爾定律的進步速度,現在投入的研究員數量是上世紀70年代的18倍。AI大概率也會符合這個規律,但如果能實現AI的自動化研發,很可能會抵消這個效應甚至反過來加速研究。第五個瓶頸是所謂的抽象壁壘,這是亞歷山大·勒希納提出的假說——當前的AI都是在人類已經提煉好的抽象概念上學習,但它自己無法提煉出全新的抽象概念。最直觀的例子是,如果把現在最厲害的大模型放到牛頓之前的時代,給它所有當時人類能觀測到的物理數據,它能自己發明微積分、萬有引力定律,甚至推導出相對論嗎?幾乎可以肯定是不能的,因為它沒有力、因果性、時空曲率這些基礎概念,而這些概念是人類花了幾百年通過和物理世界的互動一點點從原始感知裡抽象提煉出來的。如果這個假說成立,那現在的AI再怎麼缩放也只能在人類已經建立的概念框架裡打轉,它的超人類性只體現在速度和記憶上,而真正的科學突破恰恰需要全新的抽象概念,那麼單個AI的智能天花板就是人類的最高水平。最後一個瓶頸是人為的主動減速,這和技術無關而是社會、政治、監管層面的因素——隨著AI影響越來越大,可能出現嚴重事故引發強烈反對或監管層出台嚴格限制政策。但這也有對衝力量,即國際競爭會在經濟和軍事壓力下促使各國選擇加速而非減速,而且歷史上全球統一的監管框架非常少見。

對於幾個最關心的延伸問題,報告也給出了深入分析。純靠算力缩放能否從AGI走到ASI?從純理論上說,如果有無限算力用最笨的窮舉搜索確實能逼近AIXI水平,但現實裡算力永遠有限,純蠻力搜索效率太低,必須配合好的演算法和歸納偏置才能有效轉化為智能。不過如果換個角度,不追求個體智能提升而是靠堆AGI實例的數量和速度、靠群體智能來實現ASI,那純算力缩放就有可能做到,前提是群體智能確實能隨規模線性甚至超線性提升,而且大多數任務都能通過分工協作完成。能否預測ASI到底能做什麼、不能做什麼?答案很難精準預測。雖然可以從理論上給出否定答案(不能突破物理定律、不能解決不可計算的問題),但這些否定答案在現實裡其實沒什麼用,因為大多數實際問題靠近似解或啟發式方法就能做得很好,而我們沒法提前知道一個問題有沒有好的近似解、近似解能做到多好。所以預測ASI的能力本質上是個實證問題,得真的做出來才知道。這也是為什麼基準測試這麼重要,但現在的問題是現有基準很快就會被AI超過人類水平,之後就沒有標尺來衡量AI的進步了。超級智能有創造力嗎?按瑪格麗特·博登的經典三層劃分,創造力分為組合式(把已有想法重新組合)、探索式(在已有概念框架內發現新內容)、變革式(創造全新概念框架,相當於開宗立派)。現在的AI已具備前兩層——AlphaGo的第37步、AI發現新數學定理和新蛋白質結構都體現了這一點。但第三層的變革式創造力,比如愛因斯坦提出相對論、畢加索開創立體主義那樣徹底改變領域認知框架的創造,現在的AI完全做不到。而能否做到變革式創造恰好就是抽象壁壘問題——如果ASI能突破抽象壁壘,就具備變革式創造力;如果突破不了,創造就永遠只能在人類框架裡打轉。ASI會追求什麼目標?很多人擔心超級智能會有自己的想法與人類對抗,但從理論上說AI的最終目標是人類設定的。不過不管最終目標是什麼,它都會產生一些共通的工具性目標——這叫工具性趨同,由史蒂夫·奧莫亨德罗和尼克·博斯特羅姆提出——它都會想要更多的資源、想要保存自己、想要提升自己的能力。當然這些問題也不是沒有解決方案,比如可纠正性和可中斷性研究想讓AI不會抗拒被關停和修改;還有一種思路是給AI設定知識尋求的目標,讓它以獲取信息、減少不確定性為目標而不是最大化外部獎勵,這種目標的好處是知識是非排他性的、是正和博弈,AI不會為了獲取知識去破壞世界,因為它一旦搞懂欺騙機制就對欺騙沒興趣了。AGI必須是智能體嗎?理論上可以存在神諭型AI只負責回答問題、不主動採取行動、沒有自己的目標,風險會小很多。但問題是經濟和實用壓力會不斷推動AI往更自主的方向走,因為人類監督太慢太貴了,越自主的AI效率越高成本越低,市場競爭的壓力最終會推著大家不斷給AI加自主權,走向完全自主的智能體。

報告的結論非常克制:我們沒法準確預測ASI什麼時候會來,甚至沒法百分百確定它一定能實現,但我們也沒法排除這種可能性。從目前跡象看,AI在達到人類水平之後大概率不會停下來——要麼會因為各種瓶頸提前停滯,要麼會比較平穩地繼續發展到弱ASI水平,或者被遞迴改進帶來快速跳躍。報告以艾倫·圖靈在1950年說的話作結:我們只能看清前方很短的一段距離,但我們能清楚地看到那裡有大量需要完成的工作。這一代人很可能會親眼見證人類歷史上最重大的技術變革,甚至可能親手推動這場變革。與其糾結於AGI到底哪年到來,不如多花點時間去理解和研究它,想辦法讓它朝著對人類有利的方向發展。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。