Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
三句話摘要
Modal CEO 談 AI 基礎設施如何從獨立推薦系統演進為全棧雲平台,以及在 GPU 供應紧张時代如何管理容量和成本。 Modal 的故事本質上講的是:當新技術時代來臨時,舊的基礎設施工具會崩潰,必須有人在正確的時機組織容量、重建抽象,而這種創業回報遠大於成為邊際 GPU 租賃商。 容量採購從流動市場到長期鎖定:早期靠現貨和一年期合約靈活應對,但隨 AI 需求爆炸和 GPU 短缺,Modal 被迫與全球 25 個雲商談 3 年以上合約、簽署巨額預付款。這改變了整個財務結構:過去 GPU 是運營成本,現在變成資本支出,需要專門的 4 人採購團隊和 10 人基礎設施團隊管理全球異質硬體。
重點整理
容量採購從流動市場到長期鎖定:早期靠現貨和一年期合約靈活應對,但隨 AI 需求爆炸和 GPU 短缺,Modal 被迫與全球 25 個雲商談 3 年以上合約、簽署巨額預付款。這改變了整個財務結構:過去 GPU 是運營成本,現在變成資本支出,需要專門的 4 人採購團隊和 10 人基礎設施團隊管理全球異質硬體。
多產品策略才剛從願景變為現實:Modal 從未想成為單點 GPU 租賃商,但早期只能靠 Inference 生存。Stable Diffusion 和後來 LLM 代碼生成的爆發,讓 Sandboxes 產品終於找到市場,現在等於兩隻腳走路,未來還要加訓練、批處理、語音等模塊。
基礎設施需從零開始重建,不能套用舊工具:Kubernetes 和 Docker 為穩定後端設計,無法應對 GPU 價格貴、模型加載成本高、極端流量峰值的新世界。Modal 必須自建文件系統、容器運行時、快照、自動擴展,才能讓開發體驗不糟糕。
代理時代重定義開發流程:好的開發者體驗(清晰文檔、快速反饋、速度)對代理同樣有效。團隊傾向 IC 而非經理,代碼審查變可選,因為 CI/CD 和測試自動化(代理寫測試)才是安全杆杆。Eric 自己還在寫代碼。
實用技巧與重點
- 時間里程碑
- 2008–2015:Spotify 7 年,建立推薦系統和開源 Luigi 工作流框架
- 2015–2020:Better.com CTO 5 年(房貸科技),技術團隊從 3 人擴到 400 人
- 2021 年 8 月:Modal 創立,Eric 兼 CTO 和共同創辦人
- 2021–2022 年底:無營收,Eric 自籌資金,2022 年初種子輪融資
- 2022 年 11 月:月收 $100,12 月 $2,000
- 2023 年 1 月:月收 $30,000(來自單一客戶 Mage,Stable Diffusion 公司)
- Q1 2023:Mage 佔營收 89%
- 2023 後期:Runway 成為大客戶
- 核心容量數據
- NVIDIA 每月出貨數十萬片 Blackwell
- Modal 與 25+ 個雲商合作(AWS、GCP、Azure、Oracle、Nebius 等)
- 主要合約期:1–3 年,需大額預付
- 採購團隊:4 人全職
- 基礎設施團隊:10 人管理全球異質硬體
- 當前員工數:150 人(較前年大幅增長)
- 產品數據
- Modal Functions:約 2/3 營收,主要用於推理、訓練、批處理
- Modal Sandboxes:約 1/3 營收,2023 年推出,2024 爆發,主要客戶:代碼生成應用(Lovable)、強化學習、Neo Lab
- 現場工程師(FDE):年初 4 人,現在 24 人
- 技術棧
- 容器隔離:Gvisor(輕量)和 VM(全 Linux 相容)
- 核心能力:檔案系統、容器運行時、CPU/GPU 快照、自動擴展、跨區域調度
- 代理安全測試:近數月開始,用代理嘗試逃脫沙箱、尋找漏洞
- 代碼審查:可選,依賴 CI/CD 和測試覆蓋
- 定價與採購模式
- BYOC(自帶雲)定價:極高(目前無客戶接受)
- 選擇性 On-Prem:不計畫,視多租戶雲為長期贏家
- 容量價格趨勢:目前上升(AI 投資成為美國 GDP 百分位數),但歷史上硬體價格最終下降
- 重要概念
- Scarcity Rent(稀缺租金):當前 GPU 短缺讓 NVIDIA 和 Neo Cloud 獲利最多
- Hardware Price Gravity:長期硬體價格必然下降,類似 1999 年網泡或 2008 年金融危機的風險
- Agent Engine Optimization(代理引擎優化):確保當用戶問代理「用什麼工具」時,代理傾向推薦 Modal
- Snapshotting:快速啟停沙箱(目標 100ms),實現並行測試和分佈式執行
結論
Modal 的故事本質上講的是:當新技術時代來臨時,舊的基礎設施工具會崩潰,必須有人在正確的時機組織容量、重建抽象,而這種創業回報遠大於成為邊際 GPU 租賃商。
完整解析
Modal 創辦人 Eric Bernhardsen 的職業軌跡深刻反映了一代基礎設施創業者的演變。在 Spotify 七年間,他從零建立音樂推薦系統,接觸了矩陣分解和大規模計算的複雜性。這段經歷種下了後來 Modal 的種子:他意識到「AI 應用的基礎設施爛透了」,應該有更好的方式。在 Better.com 五年的 CTO 生涯中,他學會了如何從 3 人技術團隊擴張到 400 人,但最終還是被基礎設施的吸引力拉了回來。
2021 年 8 月啟動 Modal 時,Eric 的願景是構建一個通用雲計算平台,讓開發者無需關心底層容量就能執行代碼。他先後嘗試了網頁爬蟲和工作流編排(基於早年開源的 Luigi 框架),最後聚焦於「讓雲執行變得簡單」。自籌資金階段,他沒有薪資、精打細算,2022 年初融資後依然沒有明顯營收。轉折發生在 2023 年 1 月:一家名叫 Mage 的 Stable Diffusion 公司成為第一個大客戶,月收入暴漲至 $30,000。一個客戶佔 Q1 營收 89%,隨後才逐漸多元化到 Runway、Cognition 等。
Modal 的核心創新不在於發明了什麼新算法,而在於為新時代重建基礎設施。Kubernetes 和 Docker 為穩定的後端服務設計,假設 CPU 便宜、請求均勻、長期執行。但 AI 模型改變了遊戲規則:GPU 奇貴無比、模型加載要跨網絡、推理流量極其不穩定。於是 Modal 從頭設計了自己的檔案系統、容器運行時、CPU/GPU 快照和自動擴展器,特別優化了「毫秒級啟動沙箱、毫秒內完成短任務」的能力。這不是 Kubernetes 上套一層,而是新的抽象。
容量採購的故事展現了基礎設施創業在 2024–2026 年的根本變化。前三年 Modal 靠現貨(Spot)實例和 AWS/GCP 的一年期合約活著,這給了極大的靈活性。但當 AI 需求爆炸、全球 GPU 價格狂漲時,現貨變得不穩定,客戶需要保證。Eric 坦言,過去半年到九個月他花了大量精力與全球 25+ 個雲商談判 3 年合約,簽署高達幾億到十億美元的預付款。這迫使 Modal 組建了一個特殊的採購部隊:4 人全職採購,10 人基礎設施團隊管理來自亞美尼亞、印度尼西亞、新加坡等各式各樣的異質硬體、處理故障硬碟和 GPU 掉線。
Eric 對於「是否應該自購硬體」的態度務實而保守。他不否定自購的經濟優勢,但強調這帶來運營和財務複雜性:如何融資、如何鎖定長期收入來償還債務、如何應對硬體價格最終下降的風險(他提到 1999 年網泡和 Hunt Brothers 試圖操控白銀市場的慘敗)。目前策略是租賃優先,但不排除與 Neo Cloud 合作 BYOC(自帶雲)部署模式。
Modal 的產品線演變也很有戲劇性。2021 年推出的 Modal Functions(無伺服器函數)初期寂寂無聞,直到 Stable Diffusion 和後來 ChatGPT/Claude 等 LLM 代碼生成爆紅,Inference 才成為殺手級應用。2023 年推出的 Sandboxes 一開始也很冷清,直到 LLM 變得足夠聰慧能生成可運行的程式碼,Lovable(No-code/Vibe Coding)和強化學習研究才湧入。現在 Sandboxes 佔營收三分之一,與 Functions 形成雙引擎。Eric 夢想的多產品平台(訓練、批處理、實時流、低延遲語音)逐漸成型。
在代理時代,Modal 的開發哲學也在蛻變。好的開發者體驗(清晰的文檔、詳細的錯誤訊息、快速反饋)對代理同樣有效,甚至更關鍵。代理現在能寫單元測試、發現漏洞、優化性能參數。這反而讓程式碼審查變得可選:如果你有強大的 CI/CD、自動化測試和內部代理紅隊,何必每一行都讓人類過目?Eric 自己還在寫代碼,Aksha 也是,Modal 整個技術文化反轉了:經理不再是升遷終點,IC(獨立貢獻者)和經理平等,寫代碼才是王道。公司對代理「尋找 Modal 最佳化」的內部基準測試,驅動了內容策略(讓代理在網上搜尋時看到更多 Modal 用例)。
價格和經濟學始終是樑梁。Eric 樂觀地指出,GPU 短缺可能對 Modal 反而有利——稀缺租金讓 Modal 能向客戶收更高的價格,而他們已鎖定的多年期低價合約則形同做多 GPU 未來價格。但他也警告了尾部風險:如果 GPU 供應瀑布般增加、價格暴跌,那些瘋狂採購的人會虧大。因此 Modal 的擴容策略是激進卻有節制的,目標是與需求增長同步、與跑道相匹配,而非試圖壟斷市場(那條路已被 Hunt Brothers 的白銀故事照亮了)。

