Strange Geometric Shapes Found Inside AIs — Tom McGrath
三句話摘要
神經網路可解釋性的新前景:用機械可解釋性技術實現對模型行為的主動控制與設計。 機械可解釋性正在從被動觀察轉變為主動設計工具,使我們能精確控制模型學習何種行為,這不僅深化了對 AI 的理解,也為安全對齊提供了新的技術路徑。 可解釋性作為控制手段:過去我們只能被動觀察模型輸出,現在透過理解模型內部的特徵與計算結構,可以主動介入訓練過程。這像是把「開迴路控制」(放入資料讓模型自動學習)轉變為「閉迴路控制」(能看到模型方向並主動修正)。
重點整理
可解釋性作為控制手段:過去我們只能被動觀察模型輸出,現在透過理解模型內部的特徵與計算結構,可以主動介入訓練過程。這像是把「開迴路控制」(放入資料讓模型自動學習)轉變為「閉迴路控制」(能看到模型方向並主動修正)。
故意設計的技術方案:包括正向預防性轉向(positive preventative steering)、接種提示(inoculation prompting)和概念消融微調(concept ablation fine-tuning),目的是改變學習的誘因而非簡單壓制表現,避免模型繞過監督信號。
神經幾何的發現:模型表示許多抽象概念(如星期幾、月份、溫度)時,內部呈現高度結構化的幾何形狀。不同概念經常共用一套通用的計算模組(如通用加法模組),然後進行表示的轉換。
模組化的演現:模型在訓練過程中會自然發展出清晰的模組化結構,部分特徵與計算只在特定層次出現,這反映了網路「對自己變得易懂」(becoming legible to itself)的過程。
實用技巧與重點
- 技術與方法:
- 稀疏自編碼器(SAE)、塊稀疏特徵化器(block sparse featurizers)
- SAE特徵層級的梯度歸因技術
- 正向預防性轉向(Positive Preventative Steering,來自 Anthropic 的 Jack Lindsay 工作)
- 接種提示(Inoculation Prompting)
- 概念消融微調(CAFT)
- 特徵作為獎勵(Features as Rewards)
- 預測性資料除錯(Predictive Data Debugging)
- 具體案例:
- 海盜主題實驗:模型在海盜說話風格的資料上學習數學,使用SAE找出「海盜相關特徵」並精確量化它們的影響
- 幻覺最小化:同一模型既能生成幻覺、也能檢測幻覺,說明問題在於行為選擇而非知識缺乏
- 模運算:在 Llama 3 (8B) 中發現模型用基數-10 的傅立葉級數表示執行加法運算
- 山地車影像動作模型:位置-動量的二維流形可視化
- 模型與模型規模:
- Llama 8B, 70B
- DeepSeek V4 Flash
- Alpha Zero(國際象棋)
- AlphaFold
- Claude 系列(Fable, Sonnet 等)
- 概念:
- 線性表示假設(linear representation hypothesis)
- 流形假設(manifold hypothesis)
- 尺寸縮減(PCA, Ising 模型擬合)
- 興現失配(emergent misalignment)
- 模態與人格形成
結論
機械可解釋性正在從被動觀察轉變為主動設計工具,使我們能精確控制模型學習何種行為,這不僅深化了對 AI 的理解,也為安全對齊提供了新的技術路徑。
完整解析
機械可解釋性研究正在改變我們對神經網路的理解方式。傳統觀點認為訓練過程是「開迴路的」:丟進資料,模型自動學習,我們無法干預。但如果能真正讀懂模型在做什麼,就能進一步控制它的學習方向。
講者 Neil Nandanda 指出,可解釋性的核心用途不只是理解,而是設計控制。稀疏自編碼器將模型的內部激活壓縮到高維但稀疏的特徵空間,這些特徵往往對應可理解的概念(如「海盜相關」「是否談論汽車」等)。透過計算梯度對 SAE 解碼器的點積,可以估計每個特徵在單次前向傳播中對模型學習的影響。海盜實驗精妙地展示了這一點:在全是海盜風格數學問題的資料上訓練時,用 SAE 梯度歸因能精確指出哪些神經元代表「海盜性格」,哪些代表「數學能力」。
關鍵洞察是故意設計(intentional design)——透過改變損失函數的形狀而非直接壓制特徵。正向預防性轉向的比喻很形象:想像溫度計設定了「必須夠海盜」才能解釋資料(溫度表),你只需在旁邊放一個暖氣把溫度預先提高,模型就會說「已經夠海盜了,不用再學」。這比粗暴地抹掉海盜特徵更聰明,因為直接抹除會讓模型繞過監督。接種提示則是文本層級的等價物:預先在提示中放入資訊(「你是海盜」),讓模型無須從資料學習。
幻覺最小化工作揭示另一個洞察:模型往往「知道」自己在幻覺,卻仍選擇這樣做。可能的解釋涉及層級順序——模型的驗證邏輯可能在生成邏輯之前完成計算,因此已無法改變決策。特徵作為獎勵方法則將 SAE 特徵用作廉價、快速的獎勵信號,而非昂貴的 LLM 評分。
模型的幾何性質更令人驚嘆。模型表示月份、星期、顏色時,內部結構高度有序——月份形成迴圈幾何(十二月後回到一月),日期沿著線性軸排列。驚人的是,模型對這些看似不同的概念執行運算時,都經過一套通用的加法模組。這表明模型學會了抽象化:先把輸入轉換成標準表示,在通用計算器中運算,再轉回原始形式。這正是真正的計算與算法的特徵——不是死記查表,而是可在不同領域重用的邏輯。
此發現跨越模型家族成立。Llama、DeepSeek 等完全不同的架構都展現類似的模組化結構,暗示這可能是神經網路學習的基本趨勢,而非特定設計的產物。模型過度參數化(多於必要的連接)正是讓這些結構涌現的原因——寬鬆的空間讓梯度下降找到最容易學習的配置,最終抵達清晰、模組化的解。


