KeyFrame內部研究專用

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space83 min英文
觀看原始影片

三句話摘要

神經算子與傅里葉神經算子如何加速物理模擬,從天氣預報到融合反應爐,重新定義 AI 與科學的結合方式。 神經算子通過數據驅動與物理約束的結合,將高精度物理模擬從超級計算機時代帶入 GPU 時代,既大幅加速科學發現,也民主化了工程設計工具的獲取。 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。

重點整理

  1. 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。

  2. 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。

  3. 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。

  4. 球面幾何的關鍵作用:Forecast Net 3 引入地球球面幾何假設,使同一模型既能做短期天氣預報(可預測兩週)也能做長期氣候模擬,而忽視球面形狀的矩形投影模型在長期預測中迅速發散。

實用技巧與重點

  • Forecast Net 模型
  • 訓練資料:50,000 個全球氣象數據點
  • 角解析度:0.25 度(約 700×2600 網格解析度)
  • 時間步長:每步 6 小時,自回歸滾動預測
  • 訓練時間尺度:僅在 6 小時預測上訓練,多步微調後能預測數月
  • 集合預報:數十個獨立成員
  • 速度與規模
  • 氣象模擬加速倍數:10,000+ 倍
  • 融合反應爐模擬加速倍數:1,000,000 倍
  • 實際案例
  • 颶風李:提前數天預測登陸,超越傳統預報模型
  • 大氣河流:能精確捕捉跨州極端降雨事件
  • 技術框架
  • 神經算子庫:開源,集成於 PyTorch 生態,包含多種架構與範例
  • Torch Lean:形式化驗證框架,實現 CROWN 等認證魯棒性算法
  • 應用領域
  • 氣候與氣象:全球天氣建模、極端天氣集合預報
  • 融合能源:等離子體擾亂預測(與英國原子能機構合作)、控制策略設計
  • 材料設計:碳封存地下遷移、空氣動力學最佳化、量子點設計、反蝕刻掩膜逆向設計
  • 非線性光子學與其他物理反演問題
  • 模型演進
  • Forecast Net 1:傅里葉神經算子,無球面幾何
  • Forecast Net 2:加入球面幾何約束
  • Forecast Net 3:加入球面幾何+概率集合預報目標

結論

神經算子通過數據驅動與物理約束的結合,將高精度物理模擬從超級計算機時代帶入 GPU 時代,既大幅加速科學發現,也民主化了工程設計工具的獲取。

完整解析

Anima Anandkumar 是加州理工學院數學與電腦科學教授,在超過二十年的 AI 研究生涯中見證了該領域從概率模型到深度學習的轉變。她的核心論點是 AI 與科學結合的必要性:AI 不應限於符號處理,更應能模擬、設計和控制物理世界。

在天氣建模領域,團隊著手探索開源天氣數據時遭遇懷疑。氣象科學家警告,傳統天氣預報基於數十年精心發展的流體動力學物理模型,AI 不可能超越。然而結果令人驚訝——使用傅里葉神經算子訓練的模型不僅達到傳統模型的精度,運行速度還快一萬多倍。原本需要超級計算機的計算任務現在用消費級 GPU 即可完成,這徹底改變了整個領域的思維。

神經算子的創新在於解決物理數據的多尺度特性。標準神經網路要求固定的輸入輸出維度——語言模型有固定詞彙,影像模型有固定解析度。但物理現象本質上多尺度存在,天氣數據可能只有粗解析度可得,實際現象卻在更精細尺度發生。神經算子將輸入輸出表示為連續函數,可在任意解析度下工作。傅里葉神經算子特別有效,因為傅里葉域天然擅長捕捉非局部現象——流體動力學、量子化學中的許多現象都涉及非局部相互作用(如偏微分方程的反演本質上是積分操作),而傅里葉變換的計算複雜度為準線性,遠優於完全連接模型的二次複雜度。

Forecast Net 的進化體現了這些原則的應用。最初版本使用傅里葉神經算子但未考慮地球形狀,預測準確性受限。Forecast Net 2 加入了球面幾何,相同模型能進行更長期預測。第三版更進一步,一方面保持球面特性確保長期穩定性,另一方面改進訓練目標以產生校準良好的概率集合預報——這對颶風路徑預測等極端事件至關重要。令人矚目的是,這些模型只在六小時預測上訓練,經過多步微調後卻能準確預測數月之後的狀況。這要求添加物理約束(如守恆律)並在預測中逐步施加,確保長期穩定性。

神經算子的應用已擴展至多個具挑戰性領域。在融合反應爐中,它能預測等離子體擾亂(破壞反應爐的災難性現象),速度比傳統 MHD 方程模擬快一百萬倍。在設計優化中,通過逆向設計問題,它能自動優化量子點結構、光子器件與半導體掩膜,達到人類直觀設計無法企及的效率。碳封存、空氣動力學優化等應用都展示了相似的能力——AI 不僅加速模擬,更能進行創新設計發現。

Anandkumar 開發的 Torch Lean 框架結合形式化驗證,能在 Lean 證明助手中寫入和驗證神經網路,確保在控制迴路中的魯棒性與安全性——這對無人機、核反應爐等安全關鍵應用至關重要。她最近獲任聯合國科學諮詢委員會,致力於推進 AI 科學應用的全球普及、確保開發中國家能獲取高精度工具,並防止負面影響。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資