KeyFrame內部研究專用

Agents at Scale: Inside MiniMax's Model and the Infrastructure Behind It — Olive Song

AI Engineer20 min英文
觀看原始影片

三句話摘要

MiniMax M3 開源多模態模型的設計理念、推理優化策略與工作負載演變趨勢。 開源模型的發展速度正在加速,通過持續的推理優化和工作負載適應,開源模型正逐漸縮小與閉源前沿模型的差距,這是實現「讓每個人都能擁有智能」願景的關鍵路徑。 開源即加速創新:MiniMax 相信開放模型權重讓全球開發者參與優化,透過社群貢獻打造更強大的模型,與「讓每個人擁有智能」的使命一致。

重點整理

  1. 開源即加速創新:MiniMax 相信開放模型權重讓全球開發者參與優化,透過社群貢獻打造更強大的模型,與「讓每個人擁有智能」的使命一致。

  2. 推理優化是持續戰役:當模型發佈時,推理優化涉及理解架構細節、編寫內核、基準測試、決定修改或重寫策略。從第一天就考慮品質問題,每週甚至每天都在迭代改進用戶體驗。

  3. 工作負載轉變驅動架構重構:從聊天工作負載轉向代理工作負載,後者需要上傳整個代碼庫進行多輪工具調用,要求完全不同的 KV 緩存、路由和內核優化策略。

  4. 多模態訓練的自然融合:M3 從頭開始同時訓練文本和視覺數據,而非事後融合,使兩種模態自然相互理解,開啟了視覺反饋循環的新應用。

實用技巧與重點

  • 模型規格
  • MiniMax M3:多模態、上下文長度 100 萬、稀疏注意力機制
  • 先前版本:M2.5、M2.7(已由 Kernels Together AI 優化供應)
  • 技術框架
  • 基準測試:平行核心基準測試(Parallel Kernel Benchmarks)
  • 訓練方法:自我進演化、多次迭代提交評估、內部評估系統
  • 性能評估:驗證測試區分真實進步與虛假改進
  • 任務能力
  • 復現 ICLR 論文 12 小時運行結果
  • 計算機使用與工具調用
  • 遊戲開發支援
  • SVG、核心、OS 級別優化
  • 推理優化重點
  • KB 緩存處理:支持數百萬級上下文長度請求
  • 多層優化:架構理解 → 內核編寫 → 基準測試 → 迭代調整
  • 優化週期:第 0 天上線,後續每週不斷提速
  • 發展趨勢觀察
  • GPU 利用率當前偏低(約 10%),未來應有顯著提升空間
  • 開源模型發展速度正在加速,與前沿實驗室差距縮小
  • 開發速度在過去一年甚至更早已開始加速

結論

開源模型的發展速度正在加速,通過持續的推理優化和工作負載適應,開源模型正逐漸縮小與閉源前沿模型的差距,這是實現「讓每個人都能擁有智能」願景的關鍵路徑。

完整解析

這場對話記錄了 MiniMax 與 Kernels Together AI 在開源 AI 模型合作上的深度探討。MiniMax M3 代表了開源模型的一個重要里程碑,它是業界首個從頭開始進行多模態訓練的大規模開源模型。與傳統做法不同,M3 並非先訓練文本再逐步融合圖像和視頻,而是從訓練初期就同時處理多種模態。根據注意力圖分析,文本標記自然地聚焦於視覺標記,使得兩種模態在訓練過程中自然相互理解。這種設計創新讓模型能進行前所未有的應用——例如在優化網頁應用時既能看到視覺外觀又能進行動態調整。

開源發佈的動機深植於 MiniMax 對社群力量的信念。透過開放模型權重,全球開發者不僅能使用模型,還能透過回饋和拉取請求(PR)為模型改進做出貢獻。Dan 指出,Kernels Together AI 在過去一年多與 MiniMax 的合作中,已經成為 MiniMax 模型代幣使用量的主要供應者。這種合作始於去年拉斯維加斯的一次活動,當時 MiniMax 的代表提出需要為下一代模型做好服務準備的需求。此後雙方共同努力構建優化架構,這種合作代表了開源生態中的理想模式——模型創建者與推理優化專家的有機結合。

推理優化層面的複雜性往往被低估。當 M3 發佈時,Dan 的團隊需要首先理解其架構細節,例如採用的稀疏注意力策略(與其他模型的注意力機制有細微但重要的差異)。隨後需要決定:現有的優化內核是否適用?需要修改哪些部分?哪些需要從零開始編寫?這個過程同時涉及基準測試、性能分析和品質驗證。更重要的是,優化永遠不會結束——從第一天起就已列出待優化項目清單,團隊在隨後的幾週內持續迭代,導致用戶在第 0 天、第 7 天、第 14 天等不同時間點體驗到性能的逐步提升。這種節奏如此快速,以至於 Dan 和一位名叫英格麗的同事在昨天討論 M3 性能時,她甚至開玩笑說「你是說從昨晚開始嗎?」——暗示優化就在那一天內發生了。

工作負載特徵的轉變正在根本改變推理堆棧的設計思路。傳統的聊天工作負載相對簡單——系統維持數千個系統提示和聊天記錄。但新興的代理工作負載完全不同,模型需要整個代碼庫的上下文,執行數百甚至數千次的多輪工具調用。這要求對 KV 緩存、提示處理和片段優化策略的全面重新考慮。Dan 強調,代理工作負載不僅改變了優化優先級,還改變了如何選擇和編寫內核。此外,多模態工作負載進一步增加了複雜性——開發者可以讓編碼代理優化網頁應用,同時通過視覺反饋循環改進性能,這要求推理引擎同時支持代理推理、工具調用和多模態理解。

評估長期複雜任務的能力是 M3 的亮點。Olive 解釋了如何讓模型復現一篇 ICLR 論文中需要 12 小時運行的實驗。訓練這類任務面臨獨特挑戰——時間跨度長、GPU 密集、需要精心設計環境和獎勵函數。他們採用迭代評估方法:模型可多次提交,每次提交都被評估。評估系統會驗證改進是否真實,或模型是否只在執行捷徑操作。此外,MiniMax 建立了內部評估系統,主動利用模型加速自身開發,形成了與實際工作密切相關的評估框架。這種自我進化的迴圈使得每個新模型檢查點都能從前一個版本的經驗中學習。

展望未來,兩位講者對 AI 發展軌跡持樂觀態度,但也認識到眼前的低效率。Dan 在史丹佛的演講中指出,如果快進三年,我們會意識到當前處於極早期階段。他指出 GPU 利用率當前僅約 10%,三年後這一數字應該大幅改善——甚至用他的話說,「他們應該為此感到羞愧」。在模型層面,他預期會有更多、更優秀的開源模型問世。Olive 則從發展速度角度觀察:去年乃至更早,模型開發的加速就已開始,這種加速正在縮小開源模型與前沿實驗室(如 Anthropic 和 OpenAI)的差距。從 M3、GLM 和其他開源模型的進展來看,開源前沿已經能夠真正追上,差距並不如人們想像的那麼大。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。