Agents at Scale: Inside MiniMax's Model and the Infrastructure Behind It — Olive Song

這場對話記錄了 MiniMax 與 Kernels Together AI 在開源 AI 模型合作上的深度探討。MiniMax M3 代表了開源模型的一個重要里程碑，它是業界首個從頭開始進行多模態訓練的大規模開源模型。與傳統做法不同，M3 並非先訓練文本再逐步融合圖像和視頻，而是從訓練初期就同時處理多種模態。根據注意力圖分析，文本標記自然地聚焦於視覺標記，使得兩種模態在訓練過程中自然相互理解。這種設計創新讓模型能進行前所未有的應用——例如在優化網頁應用時既能看到視覺外觀又能進行動態調整。

開源發佈的動機深植於 MiniMax 對社群力量的信念。透過開放模型權重，全球開發者不僅能使用模型，還能透過回饋和拉取請求（PR）為模型改進做出貢獻。Dan 指出，Kernels Together AI 在過去一年多與 MiniMax 的合作中，已經成為 MiniMax 模型代幣使用量的主要供應者。這種合作始於去年拉斯維加斯的一次活動，當時 MiniMax 的代表提出需要為下一代模型做好服務準備的需求。此後雙方共同努力構建優化架構，這種合作代表了開源生態中的理想模式——模型創建者與推理優化專家的有機結合。

推理優化層面的複雜性往往被低估。當 M3 發佈時，Dan 的團隊需要首先理解其架構細節，例如採用的稀疏注意力策略（與其他模型的注意力機制有細微但重要的差異）。隨後需要決定：現有的優化內核是否適用？需要修改哪些部分？哪些需要從零開始編寫？這個過程同時涉及基準測試、性能分析和品質驗證。更重要的是，優化永遠不會結束——從第一天起就已列出待優化項目清單，團隊在隨後的幾週內持續迭代，導致用戶在第 0 天、第 7 天、第 14 天等不同時間點體驗到性能的逐步提升。這種節奏如此快速，以至於 Dan 和一位名叫英格麗的同事在昨天討論 M3 性能時，她甚至開玩笑說「你是說從昨晚開始嗎？」——暗示優化就在那一天內發生了。

工作負載特徵的轉變正在根本改變推理堆棧的設計思路。傳統的聊天工作負載相對簡單——系統維持數千個系統提示和聊天記錄。但新興的代理工作負載完全不同，模型需要整個代碼庫的上下文，執行數百甚至數千次的多輪工具調用。這要求對 KV 緩存、提示處理和片段優化策略的全面重新考慮。Dan 強調，代理工作負載不僅改變了優化優先級，還改變了如何選擇和編寫內核。此外，多模態工作負載進一步增加了複雜性——開發者可以讓編碼代理優化網頁應用，同時通過視覺反饋循環改進性能，這要求推理引擎同時支持代理推理、工具調用和多模態理解。

評估長期複雜任務的能力是 M3 的亮點。Olive 解釋了如何讓模型復現一篇 ICLR 論文中需要 12 小時運行的實驗。訓練這類任務面臨獨特挑戰——時間跨度長、GPU 密集、需要精心設計環境和獎勵函數。他們採用迭代評估方法：模型可多次提交，每次提交都被評估。評估系統會驗證改進是否真實，或模型是否只在執行捷徑操作。此外，MiniMax 建立了內部評估系統，主動利用模型加速自身開發，形成了與實際工作密切相關的評估框架。這種自我進化的迴圈使得每個新模型檢查點都能從前一個版本的經驗中學習。

展望未來，兩位講者對 AI 發展軌跡持樂觀態度，但也認識到眼前的低效率。Dan 在史丹佛的演講中指出，如果快進三年，我們會意識到當前處於極早期階段。他指出 GPU 利用率當前僅約 10%，三年後這一數字應該大幅改善——甚至用他的話說，「他們應該為此感到羞愧」。在模型層面，他預期會有更多、更優秀的開源模型問世。Olive 則從發展速度角度觀察：去年乃至更早，模型開發的加速就已開始，這種加速正在縮小開源模型與前沿實驗室（如 Anthropic 和 OpenAI）的差距。從 M3、GLM 和其他開源模型的進展來看，開源前沿已經能夠真正追上，差距並不如人們想像的那麼大。