KeyFrame內部研究專用

AI 不是黑箱,99% 神经元清晰可见​ | AI可解释性 | 神经网络 | 稀疏自编码器 | SAE | 叠加假说 | 递归泛化 | 机制可解释性 | AI对齐 | InceptionV1

Best Partners TV中文
觀看原始影片

三句話摘要

神經網路可解釋性研究的典範轉移——十年共識被推翻,從「黑盒混亂」重新認識為「內部清晰有序」。 十年來我們誤認為混亂的,其實一直是觀測它的方式,而非神經網路本身。 --- 延伸備註(來自評論區重要聲音):DeepMind機制可解釋性負責人Neel Nanda潑了冷水,指出論文未觸及語言模型中的「表徵疊加」(用少數神經元的線性組合存儲遠超神經元數量的知識事實),且弱激活層存儲著大量記憶組合。Cammarata坦誠這只是工作假設,在覆蓋範圍、因果驗證、多模態模型等方向仍有開放問題,但認可在視覺模型上的發現,並強調SAE在未壓縮層上仍有0.96-1.00的高匹配度。雙方分歧在於「叠加」的定義——任意疊加被推翻,但表徵疊加的局限性仍待解。 神經網路並非黑盒混亂,而是高度有序。過去十年對神經網路「不可解釋」的共識,源於觀測工具太低級,而非網路本身混亂——2009年特徵可視化技術只能生成迷幻風格圖像,如今通過微調參數引導算法沿真實激活路徑觀測,清晰度大幅提升。

重點整理

  1. 神經網路並非黑盒混亂,而是高度有序。過去十年對神經網路「不可解釋」的共識,源於觀測工具太低級,而非網路本身混亂——2009年特徵可視化技術只能生成迷幻風格圖像,如今通過微調參數引導算法沿真實激活路徑觀測,清晰度大幅提升。

  2. 工具進化推翻經典案例。著名的「貓車神經元」案例被重新分析後發現,該神經元檢測的是V字幾何形狀而非語義概念——任何V形輪廓(狐狸尖臉、噴火、汽車車頭)都激活它,圓形物體則抑制它。同樣的「汽車與狗神經元」案例也被推翻,該組神經元實際上檢測的是物體是否正面朝向鏡頭且兩側對稱,而非真的混淆狗和車。

  3. 遞迴泛化解釋多義性現象。神經元不是隨意疊加,而是有連貫邏輯的樹枝式生長——初始識別簡單特徵(如油菜花),沿著特徵軸逐步拓展(黃色→圓形→花田生物→綠色蔬菜),最終形成複雜概念。語言模型中更明顯,一個宮崎駿神經元從拼寫碎片層層疊進名字識別、再到作品聯想,每層分工清晰。

  4. 新方法比SAE更有實用價值。實驗發現SAE拆出的特徵反而比原始神經元更寬泛雜亂,在極度壓縮場景下甚至無法拆出乾淨特徵,暗示SAE可能製造了數學假象而非真正「解缠」網路。直接觀測原生神經元和電路、建立歸因圖,成本更低、速度更快,且模型的可讀性與效能意外兼容。

實用技巧與重點

  • 核心數據與工具:
  • 2023年:OpenAI SAE工具只能解釋約2%的神經元
  • 2024年:新工具在現代視覺模型最後一層達成99-100%可解釋率
  • InceptionV1重新觀測:可解釋率大幅提升(未給出具體數字)
  • 極限壓力實驗:480個神經元壓縮至10個後仍保持清晰可解釋
  • 隨機掃描1000個神經元:約90%只有一個主要工作
  • SAE與原始神經元匹配度:0.96-1.00
  • Kimi K3:首個公開發表的萬億參數模型歸因圖
  • 技術方法:
  • 激活路徑引導(Activation Path Guidance):微調正則化參數,強制沿真實圖像天然激活路徑合成
  • 正負兩極交叉驗證:同時研究最強激活與最強抑制的條件
  • 自動化Agent工具:動態梯度追蹤與消融實驗
  • 泛化軸線解離方法:追蹤特徵信號在層間的流動與分流
  • 歸因圖(Attribution Graph):展示提示詞、中間神經元、模型輸出的連接路徑
  • 經典案例翻案:
  • 貓車神經元4e:55:檢測V字幾何形狀(狐狸尖臉、火焰、汽車、水柱都激活;圓形物體抑制)
  • 汽車與狗神經元:檢測正面對稱特徵(非狗特徵,而是朝向與對稱性)
  • 宮崎駿神經元(Qwen3-32B):分層結構清晰(拼寫碎片→模式→名字→作品聯想)
  • 架構層發現:
  • SwiGLU結構的雙負號問題:約4%神經元激活列表頂部全是這種「回聲」,消融可改善多數基準測試

結論

十年來我們誤認為混亂的,其實一直是觀測它的方式,而非神經網路本身。 --- 延伸備註(來自評論區重要聲音):DeepMind機制可解釋性負責人Neel Nanda潑了冷水,指出論文未觸及語言模型中的「表徵疊加」(用少數神經元的線性組合存儲遠超神經元數量的知識事實),且弱激活層存儲著大量記憶組合。Cammarata坦誠這只是工作假設,在覆蓋範圍、因果驗證、多模態模型等方向仍有開放問題,但認可在視覺模型上的發現,並強調SAE在未壓縮層上仍有0.96-1.00的高匹配度。雙方分歧在於「叠加」的定義——任意疊加被推翻,但表徵疊加的局限性仍待解。

完整解析

這場學術風暴的起點是一個十年前的「符號事件」。2009年,研究者在InceptionV1視覺模型裡發現一個編號4e:55的神經元,看到貓臉和汽車車頭都會被強烈激活——兩個毫不相關的東西竟然共用一個神經元。這個案例幾乎成了神經網路「不可解釋」的代名詞,驅動整個領域花十年時間去「拆網路」:發明SAE稀疏自編碼器、特徵字典、特徵解缠等工具,把纠缠的特徵強行分離出來。

直到最近,當年推廣這個案例的經典論文《Zoom In》的共同作者、OpenAI機制可解釋性研究的科學家Nick Cammarata親自推翻了自己的結論。他發表了一篇65分鐘長文《神經網路本來就很干淨》,指出問題的根源不在網路,而在觀測工具。他用了兩套更嚴謹的方法重新分析:激活路徑引導(強制算法沿真實圖像的天然激活路徑合成,避免「獎勵作弊」)以及正負兩極交叉驗證(同時研究激活和抑制條件來鎖定神經元的真實功能)。結果推翻了整個案例:那個4e:55神經元根本不認識貓也不認識車,它檢測的是V字幾何形狀——任何V形輪廓(狐狸尖臉、噴火、汽車車頭、消防船水柱)都會觸發,而圓形則會抑制它。

這不是孤例。第二個經典案例「汽車與狗神經元」也被推翻。那個案例聲稱InceptionV1把汽車特徵藏在狗神經元裡,支撐了「叠加假說」(網路在空間不足時會把無關概念塞進同一神經元)。但用更細緻的動態梯度追蹤和消融實驗重新檢視後,研究團隊發現這組神經元根本不是狗神經元,而是檢測「物體是否正面朝向鏡頭且兩側對稱」的電路。汽車的正面特徵在這裡被打上標籤後,會繼續向下流動,最終分流進真正的汽車和狗分類電路。多義性看起來只是因為數據集偏差造成的觀測假象。

但神經元為什麼會響應多個不同的概念呢?Cammarata提出了「遞迴泛化」的新解釋。神經元像樹枝一樣生長:一個神經元最初也許只識別油菜花,沿著「黃色」這條特徵軸慢慢拓展到所有黃色物體,再沿著「圓形」這條軸延伸到各類球狀物體,然後順著「花田生物」的聯想路徑延伸到花田的狗,最後甚至延伸到綠色的西兰花。看起來混亂,但追溯生長路徑就會發現每一次分叉都有連貫邏輯。語言模型中更明顯,一個宮崎駿神經元的層級結構清晰得驚人:底層是拼寫碎片(字的末尾、字母組合),中層是模式(羅馬字規則、日文姓氏結尾),第四層開始識別名字本身,再往上是聯想層(作品名單)——從碎片一路長成完整人名概念。

這套新方法的威力體現在規模上。2023年用舊工具只能解釋2%的神經元,2024年用新工具在現代視覺模型最後一層達成99-100%可解釋率。即使是曾經被視為「混亂」象徵的InceptionV1,重新觀測後可解釋率也大幅提升。研究團隊用Agent隨機抽查1000個神經元,發現約90%只有一個主要工作,剩下的也就承擔兩三個任務。更具顛覆性的是,SAE分解出來的特徵不但沒有變乾淨,響應寬度反而比原始神經元粗得多,暗示過去幾年的SAE「解缠」可能只是工具製造的數學假象。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。