KeyFrame內部研究專用

不用开颅,AI能从脑磁信号恢复句子?拆解Meta Brain2Qwerty v2

Why QQ·6月30日週二·11 min中文

三句話摘要

Meta與BCBL推出非侵入式腦機接口Brain2QWERTY,用端到端深度學習與大語言模型從連續腦磁信號實現句子級別解碼。 Brain2QWERTY用開源工程思維證明非侵入式腦機接口可達相當精度,真正的價值不在當下產品,而在為整個領域建立標準、降低門檻、加速迭代,讓腦機接口從神經科學黑盒進化為工程師可直接參與的數據工程領域。 從人工特徵到神經網絡自學:摒棄神經科學傳統的複雜訊號處理流程(濾波、降噪、頻段特徵提取),直接將原始MEG信號輸入卷積編碼器讓神經網絡自主學習有用訊號,避免人類認知不足造成的信息丟失。

重點整理

重點
  • 1

    從人工特徵到神經網絡自學:摒棄神經科學傳統的複雜訊號處理流程(濾波、降噪、頻段特徵提取),直接將原始MEG信號輸入卷積編碼器讓神經網絡自主學習有用訊號,避免人類認知不足造成的信息丟失。

  • 2

    多層級架構與LLM協同效應:設計字母→單詞→句子→語義的三層架構,預訓練的大語言模型同時接收CTC文本輸出與神經編碼token,利用語言冗餘性與腦部運動皮層活動特徵,強行將模糊訊號拉回連貫邏輯空間。

  • 3

    縮放定律驅動性能躍升:從V1版2200句子資料(準確率40%)到V2版22000句子資料(準確率61%),呈現對數線性關係,系統尚未遇到明顯性能瓶頸,證實大力出奇蹟定律在腦機接口領域顯現。

  • 4

    開源生態建設超越單一產品:不只開源V1和V2完整訓練代碼、放開Hugging Face數據集,更砸500萬美元資助數字大腦計畫收集開放數據,打造腦機接口基礎設施,定義行業標準。

實用技巧與重點

乾貨
  • 硬件規格
  • 306通道Magine MEG系統(傳統Squid型超導磁力計,需液氦冷卻)
  • 大型固定設備,佔地房間大小,非輕便頭盔
  • 性能指標
  • V1版本:2200句子資料,詞準確率40%
  • V2版本:22000句子資料(9名志願者各10小時掃描),詞準確率平均61%、最佳78%
  • 超過半數句子解碼結果最多一個單詞錯誤
  • 對數線性縮放關係(數據與準確率)
  • 技術架構
  • 第一層:端到端卷積編碼器(原始MEG信號→神經表示)
  • 第二層:CTC層(連結時序分類,字母級輸出)
  • 第三層:經過微調的大語言模型(融合CTC輸出與神經token的句子級解碼)
  • 開源資源
  • Neuroset:腦數據處理工具包
  • Neurobench:系統評估模型基準
  • Tribev2:腦機解碼基礎模型
  • V1完整訓練代碼與資料集(Hugging Face公開)
  • V2資料集(論文發表後計畫公開,目前embargo期)
  • 數字大腦計畫(Digital Brain Project):500萬美元資助開放資料集
  • 實驗協作
  • Meta AI研究團隊 × BCBL(巴塞隆納認知腦語言中心)

結論

結論

Brain2QWERTY用開源工程思維證明非侵入式腦機接口可達相當精度,真正的價值不在當下產品,而在為整個領域建立標準、降低門檻、加速迭代,讓腦機接口從神經科學黑盒進化為工程師可直接參與的數據工程領域。

完整解析

詳細

過去十多年,脳機接口研究陷入了一個兩難困境。一種方案是像Neuralink那樣直接在大腦運動皮層植入電極,效果顯著但手術風險高、成本超高,普通人無法接近。另一種是頭皮貼電極等非侵入式方法,安全卻信號品質極差,準確率只有8%。Meta與BCBL的Brain2QWERTY項目正是要打破這個死局。

他們的方案是讓志願者坐進306通道的MEG腦磁圖掃描儀,在鍵盤上打字時記錄其腦磁信號,再用AI模型直接將這些連續信號翻譯成完整句子。相比V1版本必須知道每次按鍵確切時間點才能猜測按鍵內容的限制,V2版本實現了真正的句子級解碼。性能躍升驚人:從平均詞準確率40%跳升到61%,最佳參與者達到78%,超過一半的句子只有一個單詞錯誤。

這個突破來自三層工程創新。首先,他們拋棄了神經科學領域祖傳的複雜信號處理流程——濾波、降噪、頻段特徵提取——直接把原始MEG信號餵給端到端深度學習模型,讓神經網絡自己學到底哪些信號有用、哪些是噪音。這像是從早期計算機視覺時代手工設計邊緣檢測算子進化到卷積神經網絡的飛躍。其次,他們設計了巧妙的三層架構:最底層是字母級別解碼(CTC層),中層是單詞整合,頂層是經過微調的大語言模型進行句子級語義理解。當底層模型輸出模糊的「F-I-R-L」時,LLM不只看上下文和語法,還讀取神經編碼提供的額外信號,瞬間判斷應該是「girl」。這本質上是用軟體演算法補償硬體傳感器不足的典型工程實踐。

第三個創新是數據縮放。從V1的2200句子資料到V2的22000句子資料,準確率呈現對數線性提升,系統尚未遇到明顯瓶頸。這正是過去十年AI領域學到的黃金定律——大力出奇蹟,只要數據夠多、模型夠大,曾經看似無法克服的技術障礙也能被蠻力算力逐個攻破。

然而,落地現實仍然苛刻。MEG設備龐大笨重,需要液氦冷卻和專業環境,居家用戶不可能配備。即使78%的準確率,用於日常工作也太低——寫代碼時平均每五個單詞就錯一個,修Bug的時間會遠超寫code的時間。系統目前也不是低延遲的,需要整句輸入才能解碼,離真正的實時互動還有距離。距離大規模商用,硬件、精度、實時性都需重大進展。

但Meta開源這項工作的真正意圖,遠超現有硬體能力的展示。他們不僅公開V1和V2的完整訓練代碼,還把V1資料集上傳Hugging Face,承諾論文發表後開放V2資料,更砸500萬美元啟動「數字大腦計畫」專款資助開放資料集。他們在打造腦機接口的基礎設施——提供Neuroset工具包、Neurobench評估基準、Tribev2基礎模型。這套思維就像當年的Linux或現在的PyTorch,Meta定義了標準、提供了工具,讓全世界神經科學家都用同一套代碼處理腦數據、用同樣的模型做微調。隨著越來越多實驗室貢獻數據和改進,脳機接口的爆發就從科學問題變成純粹的工程問題。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。