KeyFrame內部研究專用

【分享】神经网络无意中推进了数学——和石根华老师漫谈《AI和数学》

Best Partners TV92 min中文
觀看原始影片

三句話摘要

數學如何為人工神經網路提供理論基礎:不動點理論、流形方法與深度學習的數學對應關係。 AI的數學本質是透過深度覆蓋結構在病態、高維空間中迭代求解反問題,實現了傳統數學理論到實際應用的飛躍,標誌著數學本身正被推向新的歷史高度。 不動點與神經網路訓練的一致性:神經網路的反向傳播本質上是透過梯度下降不斷迭代逼近損失函式的不動點(即f(x)=x的解)。這與石老師幾十年前研究的不動點理論在數學上完全對應,只是形式表現不同。

重點整理

  1. 不動點與神經網路訓練的一致性:神經網路的反向傳播本質上是透過梯度下降不斷迭代逼近損失函式的不動點(即f(x)=x的解)。這與石老師幾十年前研究的不動點理論在數學上完全對應,只是形式表現不同。

  2. 從區域性覆蓋到整體的數學方法:數學發展歷史中,單純積分(simplex calculus)基於覆蓋理論能將任意複雜形狀的積分問題轉化為簡單代數運算。同樣,深度神經網路透過數千層的層級覆蓋實現任意複雜函式的逼近,這體現了"從部分到整體"的統一數學思想。

  3. 反問題求解的革命性進展:傳統數學關注正向問題(已知原因求結果),而AI則解決反問題(已知結果推斷原因)。這是AI對數學的最大貢獻,突破了傳統數學只能處理適定問題(well-posed)的限制,開創了在病態問題上透過機率收斂求解的新正規化。

  4. 工程實踐驅動數學發展:歷史上數學的重大突破往往來自工程師而非數學家。類似牛頓、高斯的軌跡,AI研究者正在推動數學向非連續、機率收斂、高維滿矩陣方程等新領域發展。

實用技巧與重點

  • 核心概念:不動點方程(f(x)=x)、單純積分、覆蓋理論、流形、偏微分方程、反問題、適定性(存在性、唯一性、穩定性)、機率收斂、滿矩陣方程、Deep Manifold
  • 歷史人物與貢獻:
  • 江澤涵:引入"覆蓋"概念的中文譯法
  • 陳省身:建立流形上的微分方程理論
  • 石根華:發展非連續覆蓋理論、建立微分方程在複雜形狀上的解法
  • 歌德爾:強調"天才需要接地氣才能解決問題"
  • 技術細節:
  • Token embedding維度通常為4096維
  • Transformer層數達幾千層(過去流形理論只到十幾層)
  • 餘弦相似度(cosine similarity)屬於距離理論範疇
  • 拉格朗日乘數法在強化學習(PPO)、最佳化器(Adam)中普遍出現
  • 實際案例:
  • 2007年菲律賓火山滑坡7萬人死亡,因距離計算錯誤
  • 深圳垃圾堆滑坡事故,需精確計算滑動距離
  • 核廢料儲存反問題驗證

結論

AI的數學本質是透過深度覆蓋結構在病態、高維空間中迭代求解反問題,實現了傳統數學理論到實際應用的飛躍,標誌著數學本身正被推向新的歷史高度。

完整解析

這場對話探討了一個看似矛盾但實則統一的問題:人工智慧為何如此強大?答案不在黑箱,而在於幾十年沉睡的數學理論被AI無意間喚醒並擴充套件了。

石老師作為不動點理論的先驅,從20世紀初就開始研究這套數學體系。他強調,數學的發展歷程可分為三個階段:從離散到連續、從連續到非連續、從單點計算到覆蓋計算。覆蓋理論的核心思想是:把複雜的全域性問題分解成無數個簡單的區域性單純體(simplex),透過單純積分(只需知道頂點座標就能快速計算)將任意複雜形狀的積分表達為簡單的代數運算。這個理論在當時被陳省身高度評價,他說"只有跪下來磕頭"來形容其重要性。

而馬老師在深度學習中的發現是:神經網路的每一層都可以用流形覆蓋來理解。物理覆蓋對應網路的啟用值(可觀測),數學覆蓋對應權重引數(設計部分)。網路透過反向傳播不斷調整這些權重,使輸入經過數千層變換後逼近目標輸出——這本質上是在高維空間尋找不動點。與傳統數學求解正向問題不同,神經網路求解的是反問題:已知資料分佈,反推生成這些資料的潛在結構。

更深層的啟示在於,AI挑戰了傳統數學的底層假設。過去數學家只研究適定問題(解存在、唯一且穩定),而對病態問題(多解或無解)避而遠之。但AI卻透過機率收斂在病態問題上取得成功。同時,傳統數學處理的是小規模問題,而AI用滿矩陣方程(每個特徵與數千個其他特徵相關)成功地解決了數學家曾認為"不可能"的高維問題。這些突破來自工程師的大膽嘗試,而非數學證明——歷史上數學的重大進展往往源於工程實踐對數學的推動。

12 min
企業管理中文10月8日

The Most Important Skill for Entrepreneurs Can't Be Taught—A Conversation with Yu Ying, Vice Dean...

凯莉彭 Kelly Peng看原片 ↗
  • 反思能力決定成長天花板:講者發現職場只有兩種人——遇到問題時,一種向外求(怪環境),一種向內求(找自己的因)。前者無論如何調整職位都不會進步,後者才有迭代與改善的機會。這種能力在青少年階段仍可塑,成人後幾乎無法逆轉。
  • 審美感必須靠大量接觸累積:審美是不可替代的創業必備素質,但不是天生的。看過百件、兩百件產品後自然能感知共性。此能力需要浸潤式學習,短期內無法突擊。
11 min
AI 技術中文10月8日

2026年10月8日|24小時世界AI新聞台-重溫|OpenAI 合約 AI 測試、Reka Rho-1、Google Earth AI

文恩澄 Rannes Man看原片 ↗
  • AI 代理從輔助進化到流程參與:OpenAI 與 Ironclad 的研究表明 AI 代理已能設定表單、建立審批規則並確保多步驟工作流合規,但人工監督仍不可或缺。這標誌著 AI 在企業軟件中的角色從簡單任務輔助升級到複雜業務流程的參與者。
  • 多模態統一正成為主流方向:Reka 的 Rho-1 展示單一模型處理文字、圖像、影片和動作的可行性,減少使用者在不同工具間切換的負擔。但技術仍面臨長時間生成穩定性與跨影片物件定位的挑戰,目前輸出解析度上限為 672×384 像素。
13 min
AI 技術中文9月26日

万亿美元AI资本开支的回报在哪里 | 黑石Jon Gray | 数据中心 | AI算力 | 工业革命 | 投资回报 | 超大规模云厂商 | 芯片短缺 | 电力基础设施 | 生产率 | AI应用场景

最佳拍档看原片 ↗
  • AI不是泡沫,而是範式轉移:喬恩·格雷用1870-1900年工業革命類比今日AI浪潮,強調這是勞動生產力翻倍、GDP與製造業產出成倍增長的機遇期,但並非所有公司都能從中獲利。
  • 投資報酬率已被驗證:黑石旗下公司已看到實際案例——印度鑽石公司提效、通訊鐵塔公司租約處理快五倍、軟體編碼模型每投1美元回報18美元,證明AI開支的合理性。