Why AI Agents Need Million-Token Context — Thomas Wolf & Olive Song, MiniMax
三句話摘要
MiniMax 發布多模態大模型 M3,通過原生多模態設計與稀疏注意力機制實現 100 萬 token 超長上下文。 MiniMax 的 M3 展示了通過原生多模態設計與高效架構創新,可在開源社群推動前沿 AI 發展,同時保持應用反饋與研究迭代的良性循環。 M3 整合了編程能力、視覺理解(圖像和視頻)與超長上下文於一身,直接回應未來智能體應用對多種能力的需求。這是開源前五大模型中唯一真正實現多模態的模型,填補了市場空白。
重點整理
M3 整合了編程能力、視覺理解(圖像和視頻)與超長上下文於一身,直接回應未來智能體應用對多種能力的需求。這是開源前五大模型中唯一真正實現多模態的模型,填補了市場空白。
稀疏注意力機制的兩層設計——索引分支篩選上下文重點,稀疏注意力分支執行計算——優雅地解決了從 GPT-2 的 1024 token 到 100 萬 token 的擴展問題,同時大幅降低推理成本。
原生多模態訓練是核心創新突破:傳統方法在文本預訓練後再加適配器會傷害文本性能;中途加入則因超參數敏感無法複製成果。MiniMax 從訓練第一步就混合文本與視覺資料,透過視覺編碼器改進、資料交錯與獎勵建模等措施避免崩潰。
開放式研究文化直接推動創新:任何員工都能提案專案(一名實習生設計了稀疏注意力架構),應用覆蓋 3 億用戶與 100 多個國家,社群反饋與代碼貢獻成為模型迭代的持續動力。
實用技巧與重點
- 模型規格:M3,428 億參數總數,23 億活躍參數
- 上下文長度:100 萬 token(前代 M1/M01 達 1 千萬 token)
- 發布時間:2026 年 6 月上旬
- 核心技術:MiniMax Sparse Attention(MSA),包含索引分支與稀疏注意力分支
- 多模態能力:原生支援文本、圖像、視頻理解
- 編程性能:對標業界前五大開源模型
- 應用規模:覆蓋超過 3 億用戶,100 多個國家,超過 1 百萬家公司
- 開源發布:2025 年 1 月
- 研究組織:項目制,任何人可提案,支援數週至數月深入研究週期
- 技術貢獻者:實習生主導的稀疏注意力架構設計
- 後續計畫:M3.1 已開發中,規劃超過 1 兆參數模型
結論
MiniMax 的 M3 展示了通過原生多模態設計與高效架構創新,可在開源社群推動前沿 AI 發展,同時保持應用反饋與研究迭代的良性循環。
完整解析
在 2026 年 6 月,新興 AI 龍頭 MiniMax 發布了 M3 模型。與傳統開源模型專注單一能力不同,M3 試圖同時解決現代 AI 應用的三個根本需求。模型擁有 428 億總參數、23 億活躍參數,在編程與視覺理解上達業界頂級水準,且支援 100 萬 token 的超長上下文。Olive 解釋,這不是簡單的功能堆砌,而是對未來 AI 應用的深思考。當智能體需要與環境互動、處理多輪工具回應時,傳統短上下文窗口根本無法勝任複雜任務。更重要的是,編碼能力、智能體能力與長上下文支援是未來應用的三大關鍵需求。
M3 的技術創新圍繞稀疏注意力機制展開。MiniMax 開發了名為 MSA 的架構,通過高層索引分支篩選上下文中最相關的部分,再由稀疏注意力分支在選定區域執行實際計算。這個優雅設計既解決了傳統平方複雜度注意力機制的效率問題,也避免了線性注意力方案的精度損失。從 GPT-2 的 1024 token 到 100 萬 token 的跨越,背後是對注意力機制第一性原理的重新思考。有趣的是,這個架構由團隊內一名實習生設計,反映了 MiniMax 對人才與創意的開放態度——這在許多大型實驗室很少見。
最具革新性的是 M3 的原生多模態策略。行業內通常做法是先訓練文本模型,再加適配器添加視覺能力,但 MiniMax 發現這既傷害文本性能,視覺理解也難以收斂。也有團隊在預訓練中途混合視覺資料,但這極度依賴超參數配置,導致成果無法擴展到更大模型。MiniMax 的解決方案大膽直接:從訓練第一步就將文本與視覺資料混合,讓模型同時學習兩種模態。為避免早期訓練崩潰,團隊在視覺編碼器設計、資料交錯方式、資料清潔與掩蔽策略,以及獎勵建模上投入大量工作。
除了技術突破,M3 背後反映了 MiniMax 獨特的業務與組織哲學。公司並非先埋頭做研究再發布模型,而是先建立應用與產品,已覆蓋 3 億用戶與 100 多個國家、超過 1 百萬家公司。這些應用產生的真實反饋直接推動模型設計。研究文化也很開放:任何員工都可提案專案,感興趣的同事可加入,團隊投入數週至數月深入研究,最後將成果整合進下一版本。Olive 強調,開源不只是企業責任,也是獲得社群反饋的最佳途徑。每次發布後,社群的問題回報與代碼貢獻都直接改進後續版本。她透露 M3.1 已在開發中,公司對未來充滿野心,規劃推出超過 1 兆參數的模型。最令她興奮的是多智能體與模型路由技術的潛力——允許系統選擇最合適的工具或子模型執行任務,將大幅拓展 AI 應用的複雜度與能力邊界。


