KeyFrame內部研究專用

不用开颅,AI能从脑磁信号恢复句子?拆解Meta Brain2Qwerty v2

Why QQ11 min中文
觀看原始影片

三句話摘要

Meta與BCBL推出非侵入式腦機接口Brain2QWERTY,用端到端深度學習與大語言模型從連續腦磁信號實現句子級別解碼。 Brain2QWERTY用開源工程思維證明非侵入式腦機接口可達相當精度,真正的價值不在當下產品,而在為整個領域建立標準、降低門檻、加速迭代,讓腦機接口從神經科學黑盒進化為工程師可直接參與的數據工程領域。 從人工特徵到神經網絡自學:摒棄神經科學傳統的複雜訊號處理流程(濾波、降噪、頻段特徵提取),直接將原始MEG信號輸入卷積編碼器讓神經網絡自主學習有用訊號,避免人類認知不足造成的信息丟失。

重點整理

  1. 從人工特徵到神經網絡自學:摒棄神經科學傳統的複雜訊號處理流程(濾波、降噪、頻段特徵提取),直接將原始MEG信號輸入卷積編碼器讓神經網絡自主學習有用訊號,避免人類認知不足造成的信息丟失。

  2. 多層級架構與LLM協同效應:設計字母→單詞→句子→語義的三層架構,預訓練的大語言模型同時接收CTC文本輸出與神經編碼token,利用語言冗餘性與腦部運動皮層活動特徵,強行將模糊訊號拉回連貫邏輯空間。

  3. 縮放定律驅動性能躍升:從V1版2200句子資料(準確率40%)到V2版22000句子資料(準確率61%),呈現對數線性關係,系統尚未遇到明顯性能瓶頸,證實大力出奇蹟定律在腦機接口領域顯現。

  4. 開源生態建設超越單一產品:不只開源V1和V2完整訓練代碼、放開Hugging Face數據集,更砸500萬美元資助數字大腦計畫收集開放數據,打造腦機接口基礎設施,定義行業標準。

實用技巧與重點

  • 硬件規格
  • 306通道Magine MEG系統(傳統Squid型超導磁力計,需液氦冷卻)
  • 大型固定設備,佔地房間大小,非輕便頭盔
  • 性能指標
  • V1版本:2200句子資料,詞準確率40%
  • V2版本:22000句子資料(9名志願者各10小時掃描),詞準確率平均61%、最佳78%
  • 超過半數句子解碼結果最多一個單詞錯誤
  • 對數線性縮放關係(數據與準確率)
  • 技術架構
  • 第一層:端到端卷積編碼器(原始MEG信號→神經表示)
  • 第二層:CTC層(連結時序分類,字母級輸出)
  • 第三層:經過微調的大語言模型(融合CTC輸出與神經token的句子級解碼)
  • 開源資源
  • Neuroset:腦數據處理工具包
  • Neurobench:系統評估模型基準
  • Tribev2:腦機解碼基礎模型
  • V1完整訓練代碼與資料集(Hugging Face公開)
  • V2資料集(論文發表後計畫公開,目前embargo期)
  • 數字大腦計畫(Digital Brain Project):500萬美元資助開放資料集
  • 實驗協作
  • Meta AI研究團隊 × BCBL(巴塞隆納認知腦語言中心)

結論

Brain2QWERTY用開源工程思維證明非侵入式腦機接口可達相當精度,真正的價值不在當下產品,而在為整個領域建立標準、降低門檻、加速迭代,讓腦機接口從神經科學黑盒進化為工程師可直接參與的數據工程領域。

完整解析

過去十多年,脳機接口研究陷入了一個兩難困境。一種方案是像Neuralink那樣直接在大腦運動皮層植入電極,效果顯著但手術風險高、成本超高,普通人無法接近。另一種是頭皮貼電極等非侵入式方法,安全卻信號品質極差,準確率只有8%。Meta與BCBL的Brain2QWERTY項目正是要打破這個死局。

他們的方案是讓志願者坐進306通道的MEG腦磁圖掃描儀,在鍵盤上打字時記錄其腦磁信號,再用AI模型直接將這些連續信號翻譯成完整句子。相比V1版本必須知道每次按鍵確切時間點才能猜測按鍵內容的限制,V2版本實現了真正的句子級解碼。性能躍升驚人:從平均詞準確率40%跳升到61%,最佳參與者達到78%,超過一半的句子只有一個單詞錯誤。

這個突破來自三層工程創新。首先,他們拋棄了神經科學領域祖傳的複雜信號處理流程——濾波、降噪、頻段特徵提取——直接把原始MEG信號餵給端到端深度學習模型,讓神經網絡自己學到底哪些信號有用、哪些是噪音。這像是從早期計算機視覺時代手工設計邊緣檢測算子進化到卷積神經網絡的飛躍。其次,他們設計了巧妙的三層架構:最底層是字母級別解碼(CTC層),中層是單詞整合,頂層是經過微調的大語言模型進行句子級語義理解。當底層模型輸出模糊的「F-I-R-L」時,LLM不只看上下文和語法,還讀取神經編碼提供的額外信號,瞬間判斷應該是「girl」。這本質上是用軟體演算法補償硬體傳感器不足的典型工程實踐。

第三個創新是數據縮放。從V1的2200句子資料到V2的22000句子資料,準確率呈現對數線性提升,系統尚未遇到明顯瓶頸。這正是過去十年AI領域學到的黃金定律——大力出奇蹟,只要數據夠多、模型夠大,曾經看似無法克服的技術障礙也能被蠻力算力逐個攻破。

然而,落地現實仍然苛刻。MEG設備龐大笨重,需要液氦冷卻和專業環境,居家用戶不可能配備。即使78%的準確率,用於日常工作也太低——寫代碼時平均每五個單詞就錯一個,修Bug的時間會遠超寫code的時間。系統目前也不是低延遲的,需要整句輸入才能解碼,離真正的實時互動還有距離。距離大規模商用,硬件、精度、實時性都需重大進展。

但Meta開源這項工作的真正意圖,遠超現有硬體能力的展示。他們不僅公開V1和V2的完整訓練代碼,還把V1資料集上傳Hugging Face,承諾論文發表後開放V2資料,更砸500萬美元啟動「數字大腦計畫」專款資助開放資料集。他們在打造腦機接口的基礎設施——提供Neuroset工具包、Neurobench評估基準、Tribev2基礎模型。這套思維就像當年的Linux或現在的PyTorch,Meta定義了標準、提供了工具,讓全世界神經科學家都用同一套代碼處理腦數據、用同樣的模型做微調。隨著越來越多實驗室貢獻數據和改進,脳機接口的爆發就從科學問題變成純粹的工程問題。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。