Stop Renting Your Cognitive Infrastructure - Thiyagarajan Maruthavanan, Kalmantic Labs
三句話摘要
AI 推論成本失控的現象與危機，以及何時應該從租賃轉向自建推論基礎設施。 租賃用於學習，擁有用於營利——初創透過租賃平台驗證想法，但企業必須自建推論基礎設施才能控制成本與命運。 --- 註：此份逐字稿來自 AIEWF 2026 的演講，講者為 Manish Rajan。
重點整理
重點- 1
- 2
推論成本的心理陷阱：使用租賃 AI 平台就像在賭場儲值籌碼，初期感覺便宜但會逐漸上癮，導致花費遠超預期；這與每月固定帳單的手機服務完全不同，用戶無法建立成本錨點。
- 3
成本爆炸的多重原因：代理循環造成冗余調用、輸入 token 壓縮不足、推論端點對工作負載形狀無感知，加上講者親身經歷的 API 密鑰被盜（中國駭客竊用，三週內成本從 $7k 衝到 $10k）。
- 4
Token Factory 的侷限性：雖然開源模型部署成本較低，但企業級應用無法依賴租賃（法務審計、供應商依賴問題）、控制力受限、可重現性缺陷，使得自建成為必然。
- 5
成長階段決定策略：初創在 Product-Market Fit 前可租賃試驗，但過了這個階段必須自建；企業預算已定的項目更無法承受租賃波動，類似搬到新城市最終還是要買房而非永遠租住。
- 6
實用技巧與重點
乾貨- 具體成本案例：
- 某大零售商：$200 百萬推論開支
- Uber：年度預算在第 4 個月用完
- 講者 Ulta Suno 應用：成本暴增至數百萬美元
- API 被盜三週：成本從 $7,000 → $10,000（險些達 $100k）
- 推論平台與工具：
- Anthropic、OpenAI（租賃對象）
- DGX Parks（本地 GPU 叢集）
- Netflix Headroom（基準工具）
- JustTokenMax（開源專案，主要優化工具）
- 推論端點供應商、Near Clouds
- 企業應用場景與問題：
- 投資基金：需要速率限制控制權
- 醫院：審計要求無第三方供應商依賴
- 稅務事務所：需要模型推論可重現性
- JustTokenMax 主要功能：
- 相對 Netflix Headroom 優於多個參數
- 優化推論基礎設施層的成本
- 講者背景：
- 推特：@mt_rajan
- 網站：mtrajan.com
- 著作：《Peak Inference: Infra Economics of AI Inference》
結論
結論“ 租賃用於學習，擁有用於營利——初創透過租賃平台驗證想法，但企業必須自建推論基礎設施才能控制成本與命運。 --- 註：此份逐字稿來自 AIEWF 2026 的演講，講者為 Manish Rajan。”
完整解析
詳細推論成本危機已成為 AI 應用的普遍痛點。某大零售商花費近 $200 百萬後決定自建基礎設施，Uber 也經歷年度預算在第四個月用盡的窘境。講者本身也遭遇類似慘劇：開發的 Ulta Suno 應用（用 AI 反推音樂提示詞）迅速獲得數十萬用戶，卻導致推論成本暴漲至數百萬美元。成本失控的根本原因並非平台定價過高，而是使用模式的心理陷阱——租賃 AI 服務就像在賭場儲值，每次的小額支出累積成無法預控的巨額開支，與月租手機的固定成本截然不同。
成本爆炸還有技術層面的原因。代理循環中充斥冗余 API 呼叫，輸入 token 的壓縮不足，以及推論端點對實際工作負載毫無感知。講者親身經歷最慘烈的教訓：API 密鑰被中國駭客竊用，三週內成本從 $7,000 狂飆至 $10,000，若非聯合創辦人及時截斷，恐怕會燒到 $100,000。
面對這個困境，業界普遍討論的方案是「Token Factory」——部署開源模型到雲端或本地，按 token/秒計費。講者曾購買 DGX Parks 將 Ulta Suno 遷移至本地運行，也為研究室開發了多個代理應用。然而，企業實踐証明了 Token Factory 的侷限：投資基金擔心速率限制失控、醫院面臨審計要求禁用第三方依賴、稅務事務所需要推論可重現性而開源模型無法保證。
這些經驗驅動了講者的核心結論：企業成長階段決定基礎設施策略。初創在 Product-Market Fit 前可租賃 AI 服務探索可行性，但一旦確認商業模式、進入規模化階段，就必須自建基礎設施以掌控成本與依賴性——就像搬到新城市最初可能選擇租住或 Airbnb，但最終還是得買房才能安心。基於這套經驗，講者開源了 JustTokenMax 專案（相對 Netflix Headroom 更優），並著書《Peak Inference: Infra Economics of AI Inference》，系統性地闡述 AI 推論基礎設施的經濟學與決策框架。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
