KeyFrame內部研究專用

Strange Geometric Shapes Found Inside AIs — Tom McGrath

Machine Learning Street Talk100 min英文
觀看原始影片

三句話摘要

神經網路可解釋性的新前景:用機械可解釋性技術實現對模型行為的主動控制與設計。 機械可解釋性正在從被動觀察轉變為主動設計工具,使我們能精確控制模型學習何種行為,這不僅深化了對 AI 的理解,也為安全對齊提供了新的技術路徑。 可解釋性作為控制手段:過去我們只能被動觀察模型輸出,現在透過理解模型內部的特徵與計算結構,可以主動介入訓練過程。這像是把「開迴路控制」(放入資料讓模型自動學習)轉變為「閉迴路控制」(能看到模型方向並主動修正)。

重點整理

  1. 可解釋性作為控制手段:過去我們只能被動觀察模型輸出,現在透過理解模型內部的特徵與計算結構,可以主動介入訓練過程。這像是把「開迴路控制」(放入資料讓模型自動學習)轉變為「閉迴路控制」(能看到模型方向並主動修正)。

  2. 故意設計的技術方案:包括正向預防性轉向(positive preventative steering)、接種提示(inoculation prompting)和概念消融微調(concept ablation fine-tuning),目的是改變學習的誘因而非簡單壓制表現,避免模型繞過監督信號。

  3. 神經幾何的發現:模型表示許多抽象概念(如星期幾、月份、溫度)時,內部呈現高度結構化的幾何形狀。不同概念經常共用一套通用的計算模組(如通用加法模組),然後進行表示的轉換。

  4. 模組化的演現:模型在訓練過程中會自然發展出清晰的模組化結構,部分特徵與計算只在特定層次出現,這反映了網路「對自己變得易懂」(becoming legible to itself)的過程。

實用技巧與重點

  • 技術與方法:
  • 稀疏自編碼器(SAE)、塊稀疏特徵化器(block sparse featurizers)
  • SAE特徵層級的梯度歸因技術
  • 正向預防性轉向(Positive Preventative Steering,來自 Anthropic 的 Jack Lindsay 工作)
  • 接種提示(Inoculation Prompting)
  • 概念消融微調(CAFT)
  • 特徵作為獎勵(Features as Rewards)
  • 預測性資料除錯(Predictive Data Debugging)
  • 具體案例:
  • 海盜主題實驗:模型在海盜說話風格的資料上學習數學,使用SAE找出「海盜相關特徵」並精確量化它們的影響
  • 幻覺最小化:同一模型既能生成幻覺、也能檢測幻覺,說明問題在於行為選擇而非知識缺乏
  • 模運算:在 Llama 3 (8B) 中發現模型用基數-10 的傅立葉級數表示執行加法運算
  • 山地車影像動作模型:位置-動量的二維流形可視化
  • 模型與模型規模:
  • Llama 8B, 70B
  • DeepSeek V4 Flash
  • Alpha Zero(國際象棋)
  • AlphaFold
  • Claude 系列(Fable, Sonnet 等)
  • 概念:
  • 線性表示假設(linear representation hypothesis)
  • 流形假設(manifold hypothesis)
  • 尺寸縮減(PCA, Ising 模型擬合)
  • 興現失配(emergent misalignment)
  • 模態與人格形成

結論

機械可解釋性正在從被動觀察轉變為主動設計工具,使我們能精確控制模型學習何種行為,這不僅深化了對 AI 的理解,也為安全對齊提供了新的技術路徑。

完整解析

機械可解釋性研究正在改變我們對神經網路的理解方式。傳統觀點認為訓練過程是「開迴路的」:丟進資料,模型自動學習,我們無法干預。但如果能真正讀懂模型在做什麼,就能進一步控制它的學習方向。

講者 Neil Nandanda 指出,可解釋性的核心用途不只是理解,而是設計控制。稀疏自編碼器將模型的內部激活壓縮到高維但稀疏的特徵空間,這些特徵往往對應可理解的概念(如「海盜相關」「是否談論汽車」等)。透過計算梯度對 SAE 解碼器的點積,可以估計每個特徵在單次前向傳播中對模型學習的影響。海盜實驗精妙地展示了這一點:在全是海盜風格數學問題的資料上訓練時,用 SAE 梯度歸因能精確指出哪些神經元代表「海盜性格」,哪些代表「數學能力」。

關鍵洞察是故意設計(intentional design)——透過改變損失函數的形狀而非直接壓制特徵。正向預防性轉向的比喻很形象:想像溫度計設定了「必須夠海盜」才能解釋資料(溫度表),你只需在旁邊放一個暖氣把溫度預先提高,模型就會說「已經夠海盜了,不用再學」。這比粗暴地抹掉海盜特徵更聰明,因為直接抹除會讓模型繞過監督。接種提示則是文本層級的等價物:預先在提示中放入資訊(「你是海盜」),讓模型無須從資料學習。

幻覺最小化工作揭示另一個洞察:模型往往「知道」自己在幻覺,卻仍選擇這樣做。可能的解釋涉及層級順序——模型的驗證邏輯可能在生成邏輯之前完成計算,因此已無法改變決策。特徵作為獎勵方法則將 SAE 特徵用作廉價、快速的獎勵信號,而非昂貴的 LLM 評分。

模型的幾何性質更令人驚嘆。模型表示月份、星期、顏色時,內部結構高度有序——月份形成迴圈幾何(十二月後回到一月),日期沿著線性軸排列。驚人的是,模型對這些看似不同的概念執行運算時,都經過一套通用的加法模組。這表明模型學會了抽象化:先把輸入轉換成標準表示,在通用計算器中運算,再轉回原始形式。這正是真正的計算與算法的特徵——不是死記查表,而是可在不同領域重用的邏輯。

此發現跨越模型家族成立。Llama、DeepSeek 等完全不同的架構都展現類似的模組化結構,暗示這可能是神經網路學習的基本趨勢,而非特定設計的產物。模型過度參數化(多於必要的連接)正是讓這些結構涌現的原因——寬鬆的空間讓梯度下降找到最容易學習的配置,最終抵達清晰、模組化的解。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI