Inside the Model Factory — Eiso Kant, Poolside AI

Fibu 的故事始於 2015 年閱讀 Andrej Karpathy 的《The Unreasonable Effectiveness of RNNs》。那篇文章描述了字符級語言模型如何產生似是而非的 Paul Graham 文本和莎士比亞作品，他因此迷上了神經網路的泛化能力。他立即調整了創業方向，創辦了完全開源的 Sourced，試圖用 RNN、LSTM 再後來 Transformer 來建立「代碼上的機器學習」——代碼的語言模型。4-5 年間，他燒掉 1200 萬美元投資，動員了 40 人團隊，最終在 2019 年失敗。失敗的根本原因是他們沒有認識到擴展的重要性。當時 scaling laws 還不明顯，縮放看起來不是解決方案。回顧時，他意識到他們本應持續擴大模型規模，就像 Google、OpenAI 和 Anthropic 最終做的那樣。

那次失敗後，Fibu 沮喪地離開了這個領域，甚至在接下來兩年幾乎不看語言模型的進展。ChatGPT 發佈時如同驗證——他翻出舊的工作甲板和演講，意識到自己的方向沒錯，只是執行出了問題。同時，他對開源的信念從未消退。

創辦 Poolside 時（2023 年初），Fibu 和聯合創辦人 Jason 帶著兩個核心假設：第一，這項技術會持續進步，不是停滯的；第二，強化學習會是語言模型能力提升的最大驅動力。當時這不是業界共識，人們還在爭論語言模型是否只是「隨機鸚鵉」。Poolside 一開始完全是關閉式的，專注於追趕前沿。直到 2025 年初，Fibu 和 Jason 才重新開始談論開源，因為他們意識到世界在朝著某個方向走去——一個只有少數公司掌控所有智能的方向。

他用科幻小說類比解釋了轉折點。想象一本描繪 2035 年達成 AGI 的小說：第一章是各方探索，然後 ChatGPT 出現，最後是分叉點——世界選擇了一條路，只有 3-4 家公司創造所有智能。那讀起來是反烏托邦，不是烏托邦。Fibu 自認是烏托邦派。他幸運地位於追趕而非前沿，所以有改變主意的自由。若已達前沿，大量資本和期望會固化決策，難以轉向。經過靈魂探尋和多次對話，雖然許多問題未解（如何用開源基礎模型建立商業模式、何時停止發佈以避免誤用、政府如何回應），他得出一個結論：寧可活在有 100 家基礎模型公司的世界，即便自己只是其中之一。最小且最有意義的貢獻是開放研究和權重。

Poolside 的關鍵創新是「模型工廠」。傳統做法低效：準備完整數據集、打包、複製到訓練集群、在所有節點分發後才開始訓練。任何數據修改都要重複這個過程。Fibu 問：為什麼不像計算機科學基本原理那樣，採用即時數據流？於是他們改革了架構：一邊是訓練集群，另一邊是內部 AWS 設施建構的大規模數據管道（使用 Spark）。數據以流形式進入訓練，訓練任務按每秒消耗的 token 數定量，這個數字其實不大。他們設計了「混合器」系統，讓研究人員只需指定「這次運行用這個來源 20%、那個來源 10%、重複這麼多次」，訓練就能開始，而不必等待整個數據集具現化。

這設計的另一層是把數據層當作不可變的。所有程式碼都版本化。這使得完全的可重現性成為可能。Fibu 說他能重現 2 年前的任何訓練運行，能追蹤到單個 token 在哪個光標位置、哪個代碼版本進來。前 18 個月，公司還沒意識到這對科學嚴謹性的支撐。他們做了很多 YOLO（無計劃）實驗，後來招了 Yandex 來的 Nikolai（應用研究共同主管），他帶來了對更高科學標準的執著。一旦有了不可變數據和版本化代碼，再加上能運行大量實驗的平台，他們轉變為真正的消融研究實踐——每個實驗都是刻意設計的變數改變，都要被理解。

另一個意外的發現是：構建了好的工廠後，代理開始接手工廠本身的工作。Fibu 走過辦公室，看到研究人員的螢幕上全是代理在跑，代理啟動任務、評估結果、建議改動。人類仍握著方向盤，仍提供想法和除錯幫助，但越來越多的繁瑣工作被自動化。特別是在數據管道（前後訓練）和合成數據這一側，現在也開始在架構側出現。

最巧妙的例子是：每次啟動新的預訓練大運行或後訓練實驗版本時，前一天實驗得出的改動會自動進入新運行，因為系統足夠穩定且可信。沒有 90 天的凍結期，就是實時的。Laguna S 有個他特別驕傲的指標：整年零有效值班事件（zero on-call events）。通常新運行開始後首 6 小時會有小問題（配置錯誤、小疏漏），但那是「值班期」內的干預，不是半夜被叫醒的「值班事件」。

這套系統使得速度成為可能。Laguna XS 從預訓練開始到發佈 5 週。Laguna S（今天發佈的）8 週。Laguna Medium（昨天剛開始訓練）預計 39 天預訓練。公司已經在部署計算資源訓練下一個更大的模型。模型不再是重大事件，而是流程的自然產物。就像 SpaceX 造火箭一樣：第一支火箭很難造，難的是造工廠；火箭造出來後沒人想著下一支發射，就是「又一支發射」。

Laguna S 的性能令人矚目。118B 參數、8B active，卻在編程基準上超越 2-3 倍大小的模型。它能獨立解決 Erdos 397，能做複雜編程任務，甚至 Fibu 早上要求它在 Mac 上做一個 Wi-Fi 掃描器（無外部庫），它頑強地摸索 WLAN API 直到搞定。Fibu 過去 10 天每天 8-10 小時在用這模型，讀追蹤和軌跡。他的結論正是聯合研究主管 Penguin 寫給他的：「Laguna S 的許多進步不來自更多智能，而是更好的行為——驗證、不過早宣佈勝利、高度持久性。」這些行為對人類成功更具預測性。

這激發了他一個深層思考：知識工作（編程、軟體開發、法律、會計等）占全球經濟 25 兆美元。隨著模型變聰明，我們興奮地用它們推動科學前沿。科學突破往往與更高的智能相連——像愛因斯坦統一看似無關的想法。但知識工作的大部分其實不需要這種大規模思維整合，而是靠持久性、遇到問題時的回溯、研究文檔、嘗試 5 種方式。如果一個相對小模型（透過更好的行為）能在這些任務上超越預期，那意味著存在一個最優模型大小曲線——某個峰值之後，使用更大模型的投資回報率反而遞減。

以前他認為這個峰值很遠。現在他不確定，也許是 5 兆、10 兆參數？也許我們能從模型中榨取的遠超想像。這不意味著他放棄擴展（他必須像競爭對手一樣大才能成功），但如果這個論證成立，那就是開源能贏的論證。當然，這是自利且樂觀的論證，但理論上成立。

在預訓練方面，Poolside 不認為已完成。他們花了多年研究如何把網路（充滿人類知識但品質極不均）從單純的下一個 token 預測轉變為更早教導模型思考的方式。業界已掌握了後訓練強化學習（用環境和合成數據），但如何從網路中榨取的遠未達天花板。他預測強化學習會進入中訓練、甚至預訓練。他不確定 AGI 路徑是否只是無限環境，認為學會從網路泛化也許更優。關於目標函數的後續方向，他有想法但未準備披露，因為這涉及多年研究。他強調的一點是：基礎模型公司必須平衡已知行得通的「食譜」與純研究突破，隨著進展調整比例。

關於開源內容，Poolside 不只發佈權重。技術報告詳述了系統設計、數據管道、優化器設定、後訓練方法。他強調權重只是二進制，任何人拿到也無法完全複製其工作，真正的價值在於方法和工程系統。他提到了一個著名的初期 optimizer bug：Adam 的 epsilon 值。他們跟著既有論文（如 Llama）設置很高的 epsilon，但直覺上不明白為何必須這麼高——如果只是為了避免除以零，為何不能非常小？解決後，他們不再需要像論文那樣調整 epsilon，這是自己搞明白帶來的直覺突破。

在多模態問題上，Poolside 聚焦於文本和編程。他認為文本是最高效的知識編碼方式——一篇物理論文 20 頁濃縮了深刻洞見，比 50 分鐘的 YouTube 講課（當作視頻數據）的信號噪音比更好。他對 DeepSeek 的純視覺實驗和其他多模態努力表示欽佩，但有意聚焦以趕上前沿。視覺理解是下一步，但音頻暫不考慮——這是專注的代價。

團隊結構上，Poolside 從一開始就決定不在灣區招聘，而是尋找全球最優秀人才。從美國中部、西雅圖到塞爾維亞、台灣、新加坡。這在初期減速了進展（信息孤立、不夠了解灣區的常見做法），但最終加快了進展，因為多樣視角帶來創新和韌性。現在公司在多地有分佈（美國、法國、倫敦等），但保持遠距全球模式。他認為在人才競爭上這是正確的賭注。

關於中文實驗室，他特別讚揚了 Zhipu（清華系）。不僅因為 GLM 5.2 性能好，更因為他們在 ChatGPT 前就在做這件事，當時還被嘲笑。Fibu 記得 2016 年做機器學習代碼時被人嘲笑。他尊敬那些在不性感時相信 LLM 並為之奮鬥的人，也提到了 DeepSeek 的貢獻。他的現任使命是鼓勵更多研究人員離職創辦競爭對手，因為業界需要多樣性。

最後一個重要觀點：Fibu 認為模型構建 95% 就是改進數據或計算效率。雖然簡化，但這反映了事實——要麼優化數據，要麼架構突破（都在減少計算需求）。他鼓勵把模型構建視為工程而非魔法。在 Poolside，工程師能變成研究人員，因為工廠讓他們能快速運行實驗。他提到一位從工程師轉成強化學習研究人員的團隊成員，只用了 6 個月，這在過去被認為不可能。