KeyFrame內部研究專用

OpenAI's Astra Just Opened The Black Box Of AI

Two Minute Papers英文
觀看原始影片

三句話摘要

MIT 研究用 AI 讀取神經網路權重,實現對 AI 系統的診斷、修復與改進。 權重編程是 AI 診斷與優化的前景方向,但目前仍限於特定場景,不應誇大為自動化的 AI 自我改進系統。 MIT 的這項研究展示了 Astra 在「權重空間編程」上的三大能力:讀取(從權重推斷 AI 學習內容)、修復(編輯權重解決系統故障)與改進(優化 AI 性能)。但這三項能力並非同時進行,而是在不同實驗中分別展示,各自針對特定場景設計,因此不能推廣為 Astra 一次性解決所有 AI 問題。

重點整理

  1. MIT 的這項研究展示了 Astra 在「權重空間編程」上的三大能力:讀取(從權重推斷 AI 學習內容)、修復(編輯權重解決系統故障)與改進(優化 AI 性能)。但這三項能力並非同時進行,而是在不同實驗中分別展示,各自針對特定場景設計,因此不能推廣為 Astra 一次性解決所有 AI 問題。

  2. 講者特別澄清常見誤解:Astra 並未「教導」Qwen 數學,而是識別出 Qwen 陷入無限循環思維,通過編輯負責循環的神經網路部分來解除阻塞。這說明了 AI 系統的失效有時不是能力不足,而是內部機制卡頓。

  3. 研究的另一個突破是能從零開始生成遊戲控制的神經網路,無需傳統的強化學習大量試錯過程。MIT 團隊正建立完整的權重編程基準,暗示這可能成為未來 AI 開發的新方向。

實用技巧與重點

  • 改進數據:Qwen 數學性能 8% → 48%
  • 應用案例:修復自駕車系統、識別遊戲類型(Breakout、Pong、Pac-Man)
  • 使用模型:GPT-4o Astra(用於分析)、Qwen(被改進的模型)、Llama 3(改進失敗的案例)
  • 核心方法:神經網路權重編輯、循環思維偵測與抑制、從零生成遊戲神經網路
  • 限制:主要在小規模 AI 系統上測試、各項能力分開進行、不是所有模型都能成功改進
  • 前景:MIT 建立權重空間編程基準

結論

權重編程是 AI 診斷與優化的前景方向,但目前仍限於特定場景,不應誇大為自動化的 AI 自我改進系統。

完整解析

MIT 的這項研究突破了長期以來困擾 AI 研究者的難題:神經網路是數百億個神經元與連接的黑箱,但現在用 Astra 讀取這些權重,研究者發現 AI 系統在這「數字大腦」中留下的痕跡是可以識別與操作的。最令人驚訝的是,Astra 能從權重中推斷出一個 AI 系統訓練過哪些遊戲——不論是 Breakout、Pong 還是簡化版的 Pac-Man,全部從數字中識別出來。

第二項突破是修復能力。研究團隊測試自駕 AI 系統時發現它卡在某個坡道上無法通過,經 Astra 編輯相關權重後,車輛成功穿過了坡道。第三項則是改進:同樣的方法用在 Qwen 身上,發現它在數學基準測試中只能解決 8% 的任務,原因不是能力缺陷,而是陷入無限思維循環,像在床上翻來覆去一樣不停重複。Astra 識別了這個問題的根源,抑制了循環行為,性能直接躍升到 48%,改進幅度驚人。

但講者強調要避免過度解讀。這些成就目前主要在小規模系統上實現,各項能力是分開測試而非同時進行。並非只有 Astra 能做到——已有獨立研究用開源模型(如 Qwen)複製了類似成果。並且這個方法並非對所有系統都有效:用同樣方法改進 Llama 3 就無法取得有意義的進展。此外,Astra 展示的能力是「解除阻塞」而非「教導新知識」,這是根本上的區別。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。