From Math Olympiads to Navier-Stokes: How Fast Is AI Progressing? with Greg Burnham - #778
三句話摘要
AI能力評測的新時代:從標準考試邁向真實工作的測量與預測。 AI能力正以平穩但加速的步伐滲透現實工作,關鍵在於建立高品質的多維度測量來提前偵測創意突破與自我改善的臨界點,而非等到衝擊已經發生。 AI能力已進入影響現實的階段。 過去測試AI主要用人類考試(K-12、研究生入學考、專業執照等),2024-2025年轉折點是AI開始執行人類本來就在做的實際工作。這讓持續追蹤其能力變得關鍵,因為其成長速度無減緩跡象,且測量數據顯示平穩線性進展(跨世代模型能力持續提升)。
重點整理
AI能力已進入影響現實的階段。 過去測試AI主要用人類考試(K-12、研究生入學考、專業執照等),2024-2025年轉折點是AI開始執行人類本來就在做的實際工作。這讓持續追蹤其能力變得關鍵,因為其成長速度無減緩跡象,且測量數據顯示平穩線性進展(跨世代模型能力持續提升)。
數學領域見證了從應試到研究的跨越。 Epoch的Frontier Math基準記錄了AI從2024年底僅能解高中競賽題、到2025年金牌IMO、再到2026年解決艾狄胥未解難題與納維–斯托克斯千禧問題的軌跡。這不是憑空創新,而是AI展現超強記憶力與無窮耐心去執行複雜精密計算與邏輯推導。
新概念產生與自主學習是AI的當前盲點。 即使在其最強的領域,AI仍無法憑空創意新數學觀念(如微分、積分這種paradigm shift);在遊戲與實務學習中,它也無法邊做邊改進(同一實例重複嘗試績效不變,只有新模型版本才能跳升)。這些能力缺口可能是下一波突破的指標。
自動化與臨界點監測框架必須先於風險。 Epoch開發了多層度測量——統計聚合基準追蹤趨勢、unsolved problem解題追蹤創意、工作模擬測試實際影響、以及「tripwire」警報機制來偵測AI自我改善的起點。
實用技巧與重點
- 基準與測量工具:
- Epoch Capabilities Index:多代際統計方法論,將不同難度基準縫接成統一線性進展曲線
- Frontier Math Tier 1-4:從大學進階到研究生初期,以及無人知曉答案的真實未解難題
- GSM-AK:8000道小學應用題基準(已被現代模型輕易超越)
- MATH:高中競賽題基準
- 傢俱組裝視覺任務、棋盤遊戲Earthborn Rangers、資料視覺化與短文洞察生成
- AI進展時間線:
- 2023年:GPT-4完全解決GSM-AK
- 2024年秋季:OpenAI o1模型在高中數學競賽中飆升
- 2025年全年:AI金牌國際數學奧林匹克、Frontier Math大部分問題被解
- 2026年初:解決艾狄胥未解難題(單位距離問題)
- 2026年中:解決千禧獎難題(納維–斯托克斯方程)
- AI能力特徵:
- 已知答案問題的解題:線性平穩進展,無明顯加速或減速
- 未知答案問題的解題:仍未見創意突破,多依賴文獻記憶+耐久計算
- 學習能力:同一實例內無改進(context learning受限);跨代模型有改進(需收集更多訓練資料)
- 開放式任務表現差:資料洞察生成、新專案規劃、風格指南遵守
- 九大追蹤問題(節目未完全列舉,但涵蓋):
- 當下能力:能否做我的工作?
- 軌跡預測:自動化研發迴圈能否加速?遞迴自我改善何時開啟?
- 臨界點偵測:何時跨越能力門檻導致社會衝擊?
結論
AI能力正以平穩但加速的步伐滲透現實工作,關鍵在於建立高品質的多維度測量來提前偵測創意突破與自我改善的臨界點,而非等到衝擊已經發生。
完整解析
AI能力評測正經歷典範轉移。長期以來,研究人員透過標準化考試(中小學升學題、醫學執照、研究生資格考)來理解AI的進展,就像給AI考試一樣。Greg Burnham指出,這種模式在2024到2025年間根本改變了——AI能力已走出校園,開始影響人類實際進行的工作。這讓持續測量變得迫切。與其說要找到完美停滯點,不如說要監測這個系統如何演變,因為沒有證據表明進展在放緩。
在數學領域,軌跡最清晰。兩年多前,AI仍在苦苦應對小學應用題;到了2024年底OpenAI的o1模型發佈時,瞬間躍升至高中競賽等級。2025年間,AI達到國際數學奧林匹克金牌水準。然後在2026年上半年,AI系統解決了數學家Paul Erdős幾十年前提出卻無人破解的難題(單位距離問題),隨後更解決了千禧獎難題中的納維–斯托克斯方程。但Burnham特別強調,這不是創意的突破,而是AI展現了超強的文獻記憶力與執行複雜精密計算的無窮耐心。當數學家回溯分析這些解答時,發現AI走的方向其實人類本可嘗試,只是人類選擇了錯誤方向或耐心不足。這涉及一個根本問題:AI是在「淺層」地按訓練資料學習所有領域(化學、軟體工程、郵件撰寫),還是「深層」地達到能泛化到未見過領域的般超智能?
當前跡象顯示,AI仍存在明顯盲點。首先是創意產生——沒有跡象表明AI能像17世紀數學家那樣憑空發明新概念(如微積分),這種paradigm shift才是真正推動科學進展的力量。其次是自主學習——即使在簡單棋盤遊戲中,同一AI實例連續遊玩十次,績效毫無改善,只有升級到新版本模型才能提升。這與人類邊做邊學的特性差異巨大。Epoch在這些領域建立了多層度的測量框架:統計上將不同難度的基準縫接成統一的線性進展曲線(Epoch Capabilities Index);具體上收集真實工作片段(資料視覺化、報告撰寫、洞察生成),由人工判斷AI成品質量;創新上設計「tripwire」基準,當AI開始在其研發本身上產生創意時就會觸發警報。

