Local Models: Trust, Control, Optimization — Carter Abdallah, NVIDIA

這場討論會於AI峰會下午舉辦，匯集了開放AI生態的三位核心建設者。Vincent開場說明Prime Intellect的使命：不僅開放模型權重，而是整個訓練堆疊——從預訓練基礎設施到後訓練工具，確保開發者不被任何廠商綁定。他提到與NVIDIA合作推進Neotron和Trinity等開放模型，並在短短六個月內完成了4000億參數模型的預訓練，這在業界被認為是不可能的創舉。

Lucas進一步延伸這個主題。他指出開源的核心價值在於透明性與驗證性——開放模型允許用戶查看權重、檢驗訓練代碼，而聞名遐邇的封閉API無法提供這種確定性。但他強調信任與安全是兩個不同概念，信任是「知道自己在運行什麼」，而非簡單的安全保證。有趣的是，當Anthropic棄用Fable時，許多企業反而轉向中國開源模型，原因正是對長期可用性的信任。Lucas也提到了數據所有權的重要性——使用開放模型時，用戶可以保存所有推理輸出用於後續微調，而API服務條款會明確禁止這一點。

Chris代表NVIDIA補充了設計理念：速度就是智能。Neotron系列設計圍繞本地推理效率展開，因為AI的未來不在雲端數據中心，而在每個設備中。這與開放生態的需求高度吻合——不是所有模型都需要前沿能力，很多應用只需要特定領域的優化。

討論重點轉向「定制化超越通用」。Vincent舉例说，通过在特定用例上應用強化學習環境，持續在生產環境中收集數據（如電腦使用代理的數百萬條追蹤），可以逐步創造出比前沿模型更專精的小模型。RAM公司案例印證了這一點：在1-2週內用開放模型訓練財務自動化代理，成本遠低於直接使用Haiku，但性能超越OPOS。這反映了一個根本事實——90%的應用場景不需要前沿級別的泛化能力，反而對特定維度的優化更感興趣。

成本控制也是關鍵論點。前沿API模型雖然單位代幣成本逐年下降，但單次對話的代幣消耗呈指數增長，導致企業代幣預算快速耗盡。開放模型則允許企業構建自有推理堆疊，通過與NVIDIA、Prime Intellect等合作深度優化推理成本，最終將節省轉嫁給用戶——這是閉源商業模式無法實現的。

關於許可證的討論也很實務：新版Neotron和Trinity採用開放MDW許可，明確規定「可使用輸出結果訓練其他模型」，這消除了法律不確定性。Lucas強調，即使不查看原始數據，也能通過權重推斷模型訓練數據的組成；NVIDIA甚至公開發佈數據集明細表，列舉數萬億令牌的來源。

討論最後落在2027年的預測上。Lucas預測開放前沿模型將追上通用前沿模型，並催生數百家新創企業（如Cursor、Cursorless等服務開始大規模採用開放模型）。Vincent大膽預測Prime和RC的估值總和將達一兆美元，並強調今年將是決定性年份——決定開放模型是被視為不可信，還是成為AI民主化的基礎。Chris則預測本地模型運行能力的轉折點：MacBook和手機即將支援4000億參數級模型，大多數日常任務用戶將不再依賴API，類似於當年Linux成為服務器基礎設施的過程。更激進的預測是，九月下一代iPhone的Siri將以設備端運算驅動，讓數十億普通用戶首次體驗本地化AI的便利。

最後一點核心論述：開放模型、本地AI與設備端運算的組合，就像Linux之於互聯網基礎設施一樣——提供了中立、可驗證、可優化的底層，而OpenAI、Claude等專有服務則像MacOS一樣，為消費者提供易用的高級體驗。兩種模式不是競爭而是互補。