KeyFrame內部研究專用

Why AI Agents Need Million-Token Context — Thomas Wolf & Olive Song, MiniMax

AI Engineer英文
觀看原始影片

三句話摘要

MiniMax 發布多模態大模型 M3,通過原生多模態設計與稀疏注意力機制實現 100 萬 token 超長上下文。 MiniMax 的 M3 展示了通過原生多模態設計與高效架構創新,可在開源社群推動前沿 AI 發展,同時保持應用反饋與研究迭代的良性循環。 M3 整合了編程能力、視覺理解(圖像和視頻)與超長上下文於一身,直接回應未來智能體應用對多種能力的需求。這是開源前五大模型中唯一真正實現多模態的模型,填補了市場空白。

重點整理

  1. M3 整合了編程能力、視覺理解(圖像和視頻)與超長上下文於一身,直接回應未來智能體應用對多種能力的需求。這是開源前五大模型中唯一真正實現多模態的模型,填補了市場空白。

  2. 稀疏注意力機制的兩層設計——索引分支篩選上下文重點,稀疏注意力分支執行計算——優雅地解決了從 GPT-2 的 1024 token 到 100 萬 token 的擴展問題,同時大幅降低推理成本。

  3. 原生多模態訓練是核心創新突破:傳統方法在文本預訓練後再加適配器會傷害文本性能;中途加入則因超參數敏感無法複製成果。MiniMax 從訓練第一步就混合文本與視覺資料,透過視覺編碼器改進、資料交錯與獎勵建模等措施避免崩潰。

  4. 開放式研究文化直接推動創新:任何員工都能提案專案(一名實習生設計了稀疏注意力架構),應用覆蓋 3 億用戶與 100 多個國家,社群反饋與代碼貢獻成為模型迭代的持續動力。

實用技巧與重點

  • 模型規格:M3,428 億參數總數,23 億活躍參數
  • 上下文長度:100 萬 token(前代 M1/M01 達 1 千萬 token)
  • 發布時間:2026 年 6 月上旬
  • 核心技術:MiniMax Sparse Attention(MSA),包含索引分支與稀疏注意力分支
  • 多模態能力:原生支援文本、圖像、視頻理解
  • 編程性能:對標業界前五大開源模型
  • 應用規模:覆蓋超過 3 億用戶,100 多個國家,超過 1 百萬家公司
  • 開源發布:2025 年 1 月
  • 研究組織:項目制,任何人可提案,支援數週至數月深入研究週期
  • 技術貢獻者:實習生主導的稀疏注意力架構設計
  • 後續計畫:M3.1 已開發中,規劃超過 1 兆參數模型

結論

MiniMax 的 M3 展示了通過原生多模態設計與高效架構創新,可在開源社群推動前沿 AI 發展,同時保持應用反饋與研究迭代的良性循環。

完整解析

在 2026 年 6 月,新興 AI 龍頭 MiniMax 發布了 M3 模型。與傳統開源模型專注單一能力不同,M3 試圖同時解決現代 AI 應用的三個根本需求。模型擁有 428 億總參數、23 億活躍參數,在編程與視覺理解上達業界頂級水準,且支援 100 萬 token 的超長上下文。Olive 解釋,這不是簡單的功能堆砌,而是對未來 AI 應用的深思考。當智能體需要與環境互動、處理多輪工具回應時,傳統短上下文窗口根本無法勝任複雜任務。更重要的是,編碼能力、智能體能力與長上下文支援是未來應用的三大關鍵需求。

M3 的技術創新圍繞稀疏注意力機制展開。MiniMax 開發了名為 MSA 的架構,通過高層索引分支篩選上下文中最相關的部分,再由稀疏注意力分支在選定區域執行實際計算。這個優雅設計既解決了傳統平方複雜度注意力機制的效率問題,也避免了線性注意力方案的精度損失。從 GPT-2 的 1024 token 到 100 萬 token 的跨越,背後是對注意力機制第一性原理的重新思考。有趣的是,這個架構由團隊內一名實習生設計,反映了 MiniMax 對人才與創意的開放態度——這在許多大型實驗室很少見。

最具革新性的是 M3 的原生多模態策略。行業內通常做法是先訓練文本模型,再加適配器添加視覺能力,但 MiniMax 發現這既傷害文本性能,視覺理解也難以收斂。也有團隊在預訓練中途混合視覺資料,但這極度依賴超參數配置,導致成果無法擴展到更大模型。MiniMax 的解決方案大膽直接:從訓練第一步就將文本與視覺資料混合,讓模型同時學習兩種模態。為避免早期訓練崩潰,團隊在視覺編碼器設計、資料交錯方式、資料清潔與掩蔽策略,以及獎勵建模上投入大量工作。

除了技術突破,M3 背後反映了 MiniMax 獨特的業務與組織哲學。公司並非先埋頭做研究再發布模型,而是先建立應用與產品,已覆蓋 3 億用戶與 100 多個國家、超過 1 百萬家公司。這些應用產生的真實反饋直接推動模型設計。研究文化也很開放:任何員工都可提案專案,感興趣的同事可加入,團隊投入數週至數月深入研究,最後將成果整合進下一版本。Olive 強調,開源不只是企業責任,也是獲得社群反饋的最佳途徑。每次發布後,社群的問題回報與代碼貢獻都直接改進後續版本。她透露 M3.1 已在開發中,公司對未來充滿野心,規劃推出超過 1 兆參數的模型。最令她興奮的是多智能體與模型路由技術的潛力——允許系統選擇最合適的工具或子模型執行任務,將大幅拓展 AI 應用的複雜度與能力邊界。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。