Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
三句話摘要
用AI設計新材料、揭示生成模型與熱力學的數學等價性，以及波動在神經網絡中的應用。 AI與物理學的深層數學對應不僅能加速材料科學創新，更提供設計更有效神經網絡的嶄新視角。 多層篩選的材料設計流程：先搜尋文獻資料庫找現有材料，若無合適的就用生成模型產生數十萬個候選分子，用機器學習力場進行分子動力學模擬篩選，再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
重點整理
重點- 1
多層篩選的材料設計流程：先搜尋文獻資料庫找現有材料，若無合適的就用生成模型產生數十萬個候選分子，用機器學習力場進行分子動力學模擬篩選，再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
- 2
生成AI與熱力學的數學等價性：資訊論是兩個領域的共同基礎，生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應，許多開發出來的方法工具在兩領域都有精確對應的形式。
- 3
基礎模型的遷移學習策略：先在廣泛材料資料集上訓練基礎力場表示，再針對特定材料類別進行蒸餾微調，既能保持計算效率也能獲得專一性。
- 4
波動機制實現訊息穩定傳播：在神經網絡中主動引入對稱性使其自然產生無損耗傳播的波動模式，讓訊息能穩定地從輸入層傳到輸出層，同時自動處於混沌邊界——既不過度收斂喪失資訊，也不過度雜亂無法追蹤。
實用技巧與重點
乾貨- 公司背景
- 成立時間：2024年5月
- 初始融資：3000萬美元
- 團隊規模：50人，分佈在阿姆斯特丹、劍橋、倫敦、柏林，正擴展至亞洲與北美
- 顧問陣容：Jeff Hinton、Yann LeCun、Martin van den Brink（ASML前總裁暨CTO）、Lord Brown（BP前CEO）、Verity Harding（英國政府與DeepMind）
- 核心技術
- 金屬有機框架(Metal Organic Frameworks, MOFs)：用於碳捕獲應用
- 機器學習力場(ML Force Fields)：替代昂貴的量子力學計算
- 分子動力學框架：CUPS（Universal Particle Simulation Simulator），與NVIDIA合作，以JAX編寫
- 資料集：Materials Project、O mole（Meta）
- 分子表示法：SMILES字符串、圖神經網絡
- 應用領域與進展
- 碳捕獲MOF設計：已完成實驗室驗證
- 鈣鈦礦太陽能電池：荷蘭阿姆斯特丹進行中
- 催化劑研究：與丹麥技術大學(DTU)合作進行中
- 半導體材料：預計數月內開始實驗
- 其他：電池材料、燃料電池、PFAS水質淨化
- 碳移除規模
- 達成碳中和後還需50～100年
- 年度需移除量：20吉噸CO₂
- 體積參考：相當於日內瓦湖的液態二氧化碳
- 書籍計畫
- 書名：《Generative AI and Stochastic Thermodynamics》
- 寫作期間：2年多
- 涵蓋主題：變分自編碼器、擴散模型、MCMC方法、自由能估計
- 核心觀點：生成模型與隨機熱力學在數學上等價
- 神經網絡波動研究
- 應用領域：長期記憶任務、深層訊息傳播
- 物理機制：自發對稱破缺(Spontaneous Symmetry Breaking)、金斯通模式(Goldstone Modes)
- 實驗結果：相比RNN在需要長期記憶的任務中表現明顯優越
結論
結論“AI與物理學的深層數學對應不僅能加速材料科學創新，更提供設計更有效神經網絡的嶄新視角。”
完整解析
詳細Max Welling擁有理論物理博士背景，多年來在等變神經網絡與幾何深度學習領域深耕。2024年5月，他與共同創辦人Chad Edwards創立CUSP AI，這家初創公司獲得3000萬美元投資，現已成長至50人規模，分佈在多個大陸。公司的顧問陣容更是業界頂尖人物，包括深度學習先驅Jeff Hinton與Yann LeCun。
CUSP的使命是用AI加速材料創新，特別是針對氣候變化的挑戰。講者指出，實現碳中和後，人類還需要數十年每年移除數十吉噸的大氣二氧化碳——一個規模龐大卻技術困難的問題。公司首先專注於金屬有機框架(MOF)的設計與改進，這類材料因其高孔隙率和巨大表面積能有效吸附二氧化碳。恰巧，MOF的發明者剛獲得今年的諾貝爾化學獎。
公司開發的平台運作方式類似搜尋引擎，但不是搜尋文件而是探索整個材料空間。智能代理協調整個流程：首先在文獻資料庫與已知材料中搜尋是否存在合適的材料；若沒有，使用生成模型(與生成影像的技術相同)產生數十萬個候選分子；接著進行多層篩選——利用機器學習力場進行分子動力學模擬，檢查分子結構穩定性、孔隙大小等特性，再逐步縮小範圍；最後才進行昂貴的實驗驗證。這個流程相比傳統量子力學計算能將效率提升三到四個數量級。
CUSP已透過多種模式實施這套方法：與亞洲某國家實驗室的合作進行大規模實驗、在荷蘭阿姆斯特丹進行鈣鈦礦太陽能電池研究、與丹麥技術大學合作催化劑開發等。公司還開源了CUPS——一個通用粒子模擬框架，與NVIDIA聯合開發，使用JAX框架能在GPU上高效運行神經網絡力場的分子動力學模擬，且支援並行計算。
除CUSP業務外，講者還在著手一本書《Generative AI and Stochastic Thermodynamics》，探討生成模型(擴散模型、VAE、MCMC)與隨機熱力學的深層數學對應。講者強調這不止是類比，而是源於共同基礎——資訊論。在物理中，熵描述系統缺失的資訊；在貝葉斯統計中，熵精確描述我們對世界的不確定性。Landauer原理更直接連結資訊與能量：擦除一比特必然向環境輻射能量。這表明兩領域的許多工具方法在數學上存在精確對應。
講者最後介紹波動在神經網絡中的應用。他觀察到大腦中存在可測量的旅行波，而深層神經網絡常面臨過度平滑問題導致訊息衰減。為此，他的團隊設計能自然產生波動的神經網絡，利用物理中自發對稱破缺的現象。當在神經元中引入對稱性並用足夠大的隨機權重初始化時，對稱性會自發破缺產生金斯通模式——能無損耗傳播的波動模式。這些波動穩定地從網絡開始傳到結束，且自動處於混沌邊界——既不過度穩定喪失訊息，也不過度混亂無法追蹤。相比RNN，這類模型在需要長期記憶的任務中表現明顯優越。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
