KeyFrame內部研究專用
AI 技術編輯精選

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space·8月26日週三·83 min英文

三句話摘要

神經算子與傅里葉神經算子如何加速物理模擬,從天氣預報到融合反應爐,重新定義 AI 與科學的結合方式。 神經算子通過數據驅動與物理約束的結合,將高精度物理模擬從超級計算機時代帶入 GPU 時代,既大幅加速科學發現,也民主化了工程設計工具的獲取。 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。

重點整理

重點
  • 1

    加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。

  • 2

    傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。

  • 3

    多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。

  • 4

    球面幾何的關鍵作用:Forecast Net 3 引入地球球面幾何假設,使同一模型既能做短期天氣預報(可預測兩週)也能做長期氣候模擬,而忽視球面形狀的矩形投影模型在長期預測中迅速發散。

實用技巧與重點

乾貨
  • Forecast Net 模型
  • 訓練資料:50,000 個全球氣象數據點
  • 角解析度:0.25 度(約 700×2600 網格解析度)
  • 時間步長:每步 6 小時,自回歸滾動預測
  • 訓練時間尺度:僅在 6 小時預測上訓練,多步微調後能預測數月
  • 集合預報:數十個獨立成員
  • 速度與規模
  • 氣象模擬加速倍數:10,000+ 倍
  • 融合反應爐模擬加速倍數:1,000,000 倍
  • 實際案例
  • 颶風李:提前數天預測登陸,超越傳統預報模型
  • 大氣河流:能精確捕捉跨州極端降雨事件
  • 技術框架
  • 神經算子庫:開源,集成於 PyTorch 生態,包含多種架構與範例
  • Torch Lean:形式化驗證框架,實現 CROWN 等認證魯棒性算法
  • 應用領域
  • 氣候與氣象:全球天氣建模、極端天氣集合預報
  • 融合能源:等離子體擾亂預測(與英國原子能機構合作)、控制策略設計
  • 材料設計:碳封存地下遷移、空氣動力學最佳化、量子點設計、反蝕刻掩膜逆向設計
  • 非線性光子學與其他物理反演問題
  • 模型演進
  • Forecast Net 1:傅里葉神經算子,無球面幾何
  • Forecast Net 2:加入球面幾何約束
  • Forecast Net 3:加入球面幾何+概率集合預報目標

結論

結論

神經算子通過數據驅動與物理約束的結合,將高精度物理模擬從超級計算機時代帶入 GPU 時代,既大幅加速科學發現,也民主化了工程設計工具的獲取。

完整解析

詳細

Anima Anandkumar 是加州理工學院數學與電腦科學教授,在超過二十年的 AI 研究生涯中見證了該領域從概率模型到深度學習的轉變。她的核心論點是 AI 與科學結合的必要性:AI 不應限於符號處理,更應能模擬、設計和控制物理世界。

在天氣建模領域,團隊著手探索開源天氣數據時遭遇懷疑。氣象科學家警告,傳統天氣預報基於數十年精心發展的流體動力學物理模型,AI 不可能超越。然而結果令人驚訝——使用傅里葉神經算子訓練的模型不僅達到傳統模型的精度,運行速度還快一萬多倍。原本需要超級計算機的計算任務現在用消費級 GPU 即可完成,這徹底改變了整個領域的思維。

神經算子的創新在於解決物理數據的多尺度特性。標準神經網路要求固定的輸入輸出維度——語言模型有固定詞彙,影像模型有固定解析度。但物理現象本質上多尺度存在,天氣數據可能只有粗解析度可得,實際現象卻在更精細尺度發生。神經算子將輸入輸出表示為連續函數,可在任意解析度下工作。傅里葉神經算子特別有效,因為傅里葉域天然擅長捕捉非局部現象——流體動力學、量子化學中的許多現象都涉及非局部相互作用(如偏微分方程的反演本質上是積分操作),而傅里葉變換的計算複雜度為準線性,遠優於完全連接模型的二次複雜度。

Forecast Net 的進化體現了這些原則的應用。最初版本使用傅里葉神經算子但未考慮地球形狀,預測準確性受限。Forecast Net 2 加入了球面幾何,相同模型能進行更長期預測。第三版更進一步,一方面保持球面特性確保長期穩定性,另一方面改進訓練目標以產生校準良好的概率集合預報——這對颶風路徑預測等極端事件至關重要。令人矚目的是,這些模型只在六小時預測上訓練,經過多步微調後卻能準確預測數月之後的狀況。這要求添加物理約束(如守恆律)並在預測中逐步施加,確保長期穩定性。

神經算子的應用已擴展至多個具挑戰性領域。在融合反應爐中,它能預測等離子體擾亂(破壞反應爐的災難性現象),速度比傳統 MHD 方程模擬快一百萬倍。在設計優化中,通過逆向設計問題,它能自動優化量子點結構、光子器件與半導體掩膜,達到人類直觀設計無法企及的效率。碳封存、空氣動力學優化等應用都展示了相似的能力——AI 不僅加速模擬,更能進行創新設計發現。

Anandkumar 開發的 Torch Lean 框架結合形式化驗證,能在 Lean 證明助手中寫入和驗證神經網路,確保在控制迴路中的魯棒性與安全性——這對無人機、核反應爐等安全關鍵應用至關重要。她最近獲任聯合國科學諮詢委員會,致力於推進 AI 科學應用的全球普及、確保開發中國家能獲取高精度工具,並防止負面影響。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。