KeyFrame內部研究專用

Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO

Latent Space85 min英文
觀看原始影片

三句話摘要

Modal CEO 談 AI 基礎設施如何從獨立推薦系統演進為全棧雲平台,以及在 GPU 供應紧张時代如何管理容量和成本。 Modal 的故事本質上講的是:當新技術時代來臨時,舊的基礎設施工具會崩潰,必須有人在正確的時機組織容量、重建抽象,而這種創業回報遠大於成為邊際 GPU 租賃商。 容量採購從流動市場到長期鎖定:早期靠現貨和一年期合約靈活應對,但隨 AI 需求爆炸和 GPU 短缺,Modal 被迫與全球 25 個雲商談 3 年以上合約、簽署巨額預付款。這改變了整個財務結構:過去 GPU 是運營成本,現在變成資本支出,需要專門的 4 人採購團隊和 10 人基礎設施團隊管理全球異質硬體。

重點整理

  1. 容量採購從流動市場到長期鎖定:早期靠現貨和一年期合約靈活應對,但隨 AI 需求爆炸和 GPU 短缺,Modal 被迫與全球 25 個雲商談 3 年以上合約、簽署巨額預付款。這改變了整個財務結構:過去 GPU 是運營成本,現在變成資本支出,需要專門的 4 人採購團隊和 10 人基礎設施團隊管理全球異質硬體。

  2. 多產品策略才剛從願景變為現實:Modal 從未想成為單點 GPU 租賃商,但早期只能靠 Inference 生存。Stable Diffusion 和後來 LLM 代碼生成的爆發,讓 Sandboxes 產品終於找到市場,現在等於兩隻腳走路,未來還要加訓練、批處理、語音等模塊。

  3. 基礎設施需從零開始重建,不能套用舊工具:Kubernetes 和 Docker 為穩定後端設計,無法應對 GPU 價格貴、模型加載成本高、極端流量峰值的新世界。Modal 必須自建文件系統、容器運行時、快照、自動擴展,才能讓開發體驗不糟糕。

  4. 代理時代重定義開發流程:好的開發者體驗(清晰文檔、快速反饋、速度)對代理同樣有效。團隊傾向 IC 而非經理,代碼審查變可選,因為 CI/CD 和測試自動化(代理寫測試)才是安全杆杆。Eric 自己還在寫代碼。

實用技巧與重點

  • 時間里程碑
  • 2008–2015:Spotify 7 年,建立推薦系統和開源 Luigi 工作流框架
  • 2015–2020:Better.com CTO 5 年(房貸科技),技術團隊從 3 人擴到 400 人
  • 2021 年 8 月:Modal 創立,Eric 兼 CTO 和共同創辦人
  • 2021–2022 年底:無營收,Eric 自籌資金,2022 年初種子輪融資
  • 2022 年 11 月:月收 $100,12 月 $2,000
  • 2023 年 1 月:月收 $30,000(來自單一客戶 Mage,Stable Diffusion 公司)
  • Q1 2023:Mage 佔營收 89%
  • 2023 後期:Runway 成為大客戶
  • 核心容量數據
  • NVIDIA 每月出貨數十萬片 Blackwell
  • Modal 與 25+ 個雲商合作(AWS、GCP、Azure、Oracle、Nebius 等)
  • 主要合約期:1–3 年,需大額預付
  • 採購團隊:4 人全職
  • 基礎設施團隊:10 人管理全球異質硬體
  • 當前員工數:150 人(較前年大幅增長)
  • 產品數據
  • Modal Functions:約 2/3 營收,主要用於推理、訓練、批處理
  • Modal Sandboxes:約 1/3 營收,2023 年推出,2024 爆發,主要客戶:代碼生成應用(Lovable)、強化學習、Neo Lab
  • 現場工程師(FDE):年初 4 人,現在 24 人
  • 技術棧
  • 容器隔離:Gvisor(輕量)和 VM(全 Linux 相容)
  • 核心能力:檔案系統、容器運行時、CPU/GPU 快照、自動擴展、跨區域調度
  • 代理安全測試:近數月開始,用代理嘗試逃脫沙箱、尋找漏洞
  • 代碼審查:可選,依賴 CI/CD 和測試覆蓋
  • 定價與採購模式
  • BYOC(自帶雲)定價:極高(目前無客戶接受)
  • 選擇性 On-Prem:不計畫,視多租戶雲為長期贏家
  • 容量價格趨勢:目前上升(AI 投資成為美國 GDP 百分位數),但歷史上硬體價格最終下降
  • 重要概念
  • Scarcity Rent(稀缺租金):當前 GPU 短缺讓 NVIDIA 和 Neo Cloud 獲利最多
  • Hardware Price Gravity:長期硬體價格必然下降,類似 1999 年網泡或 2008 年金融危機的風險
  • Agent Engine Optimization(代理引擎優化):確保當用戶問代理「用什麼工具」時,代理傾向推薦 Modal
  • Snapshotting:快速啟停沙箱(目標 100ms),實現並行測試和分佈式執行

結論

Modal 的故事本質上講的是:當新技術時代來臨時,舊的基礎設施工具會崩潰,必須有人在正確的時機組織容量、重建抽象,而這種創業回報遠大於成為邊際 GPU 租賃商。

完整解析

Modal 創辦人 Eric Bernhardsen 的職業軌跡深刻反映了一代基礎設施創業者的演變。在 Spotify 七年間,他從零建立音樂推薦系統,接觸了矩陣分解和大規模計算的複雜性。這段經歷種下了後來 Modal 的種子:他意識到「AI 應用的基礎設施爛透了」,應該有更好的方式。在 Better.com 五年的 CTO 生涯中,他學會了如何從 3 人技術團隊擴張到 400 人,但最終還是被基礎設施的吸引力拉了回來。

2021 年 8 月啟動 Modal 時,Eric 的願景是構建一個通用雲計算平台,讓開發者無需關心底層容量就能執行代碼。他先後嘗試了網頁爬蟲和工作流編排(基於早年開源的 Luigi 框架),最後聚焦於「讓雲執行變得簡單」。自籌資金階段,他沒有薪資、精打細算,2022 年初融資後依然沒有明顯營收。轉折發生在 2023 年 1 月:一家名叫 Mage 的 Stable Diffusion 公司成為第一個大客戶,月收入暴漲至 $30,000。一個客戶佔 Q1 營收 89%,隨後才逐漸多元化到 Runway、Cognition 等。

Modal 的核心創新不在於發明了什麼新算法,而在於為新時代重建基礎設施。Kubernetes 和 Docker 為穩定的後端服務設計,假設 CPU 便宜、請求均勻、長期執行。但 AI 模型改變了遊戲規則:GPU 奇貴無比、模型加載要跨網絡、推理流量極其不穩定。於是 Modal 從頭設計了自己的檔案系統、容器運行時、CPU/GPU 快照和自動擴展器,特別優化了「毫秒級啟動沙箱、毫秒內完成短任務」的能力。這不是 Kubernetes 上套一層,而是新的抽象。

容量採購的故事展現了基礎設施創業在 2024–2026 年的根本變化。前三年 Modal 靠現貨(Spot)實例和 AWS/GCP 的一年期合約活著,這給了極大的靈活性。但當 AI 需求爆炸、全球 GPU 價格狂漲時,現貨變得不穩定,客戶需要保證。Eric 坦言,過去半年到九個月他花了大量精力與全球 25+ 個雲商談判 3 年合約,簽署高達幾億到十億美元的預付款。這迫使 Modal 組建了一個特殊的採購部隊:4 人全職採購,10 人基礎設施團隊管理來自亞美尼亞、印度尼西亞、新加坡等各式各樣的異質硬體、處理故障硬碟和 GPU 掉線。

Eric 對於「是否應該自購硬體」的態度務實而保守。他不否定自購的經濟優勢,但強調這帶來運營和財務複雜性:如何融資、如何鎖定長期收入來償還債務、如何應對硬體價格最終下降的風險(他提到 1999 年網泡和 Hunt Brothers 試圖操控白銀市場的慘敗)。目前策略是租賃優先,但不排除與 Neo Cloud 合作 BYOC(自帶雲)部署模式。

Modal 的產品線演變也很有戲劇性。2021 年推出的 Modal Functions(無伺服器函數)初期寂寂無聞,直到 Stable Diffusion 和後來 ChatGPT/Claude 等 LLM 代碼生成爆紅,Inference 才成為殺手級應用。2023 年推出的 Sandboxes 一開始也很冷清,直到 LLM 變得足夠聰慧能生成可運行的程式碼,Lovable(No-code/Vibe Coding)和強化學習研究才湧入。現在 Sandboxes 佔營收三分之一,與 Functions 形成雙引擎。Eric 夢想的多產品平台(訓練、批處理、實時流、低延遲語音)逐漸成型。

在代理時代,Modal 的開發哲學也在蛻變。好的開發者體驗(清晰的文檔、詳細的錯誤訊息、快速反饋)對代理同樣有效,甚至更關鍵。代理現在能寫單元測試、發現漏洞、優化性能參數。這反而讓程式碼審查變得可選:如果你有強大的 CI/CD、自動化測試和內部代理紅隊,何必每一行都讓人類過目?Eric 自己還在寫代碼,Aksha 也是,Modal 整個技術文化反轉了:經理不再是升遷終點,IC(獨立貢獻者)和經理平等,寫代碼才是王道。公司對代理「尋找 Modal 最佳化」的內部基準測試,驅動了內容策略(讓代理在網上搜尋時看到更多 Modal 用例)。

價格和經濟學始終是樑梁。Eric 樂觀地指出,GPU 短缺可能對 Modal 反而有利——稀缺租金讓 Modal 能向客戶收更高的價格,而他們已鎖定的多年期低價合約則形同做多 GPU 未來價格。但他也警告了尾部風險:如果 GPU 供應瀑布般增加、價格暴跌,那些瘋狂採購的人會虧大。因此 Modal 的擴容策略是激進卻有節制的,目標是與需求增長同步、與跑道相匹配,而非試圖壟斷市場(那條路已被 Hunt Brothers 的白銀故事照亮了)。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資