KeyFrame內部研究專用

Buying Tokens vs Building an AI Factory with Sadeepa Wijesekara - #785

TWIML AI58 min英文
觀看原始影片

三句話摘要

AI代理導致代幣成本爆增,企業應透過混合推理策略(本地開源模型+邊界模型)與細粒度可見性控制成本並保護數據安全。 智慧分配工作到邊界模型或本地開源模型,結合細粒度成本可見性和多層安全防護,是企業從AI代理成本爆增的困境中解脫、並實現真實投資回報的必經之路。 代理工作負載徹底改變成本方程式

重點整理

  1. 代理工作負載徹底改變成本方程式

  2. 代理因執行複雜任務需多次模型推理呼叫,導致單一任務消耗代幣數比聊天機器人多20-50倍。即使個別代幣成本下降,總支出仍急升。企業需停止只看每個代幣的價格,改看整體代幣消耗量。

  3. 混合推理成為必要策略

  4. 並非所有工作都應送到前沿模型。規劃步驟可能值得用高階模型,但簡單的查詢、摘要、內容篩選應用開源模型,成本可節省60%。同時保留邊界模型以處理複雜推理,根據任務特性智慧路由。

  5. 可見性與細粒度標籤是基礎

  6. 大多數組織無法說明代幣成本分布。需從第零步開始:建立代幣追蹤儀表板,按代理、使用案例、業務流程、子任務層級標籤化。找出最大成本消耗者後,才能執行針對性最佳化。

  7. 數據主權與安全控制往往優先於成本

  8. 製造商因延遲和可靠性需求本地部署;防禦工業因主權要求本地部署;金融企業因合規和敏感數據無法外送而本地部署。多層安全防護(短期代幣、沙箱隔離、機密運算、稽核日誌)成為採用本地推理的前提。

實用技巧與重點

  • 成本與ROI數據
  • 代理相比聊天機器人代幣消耗:20-50倍
  • 私有雲AI可節省代幣成本:約60%
  • 本地部署ROI達成所需利用率:60-70%(遠低於雲端投資要求)
  • 開源模型相比邊界模型的落差:1-2個月
  • HPE內部部署規模
  • 全球員工數:65,000-67,000人
  • Chat HPE推出時間:2年前
  • PCAI系統部署數量:初期1-2個,現擴展至9個
  • 內部推理採混合策略:大量使用邊界模型和開源模型
  • 硬體與GPU選擇
  • 開發者套件起始:2個GPU
  • 最高規格:機架級別256個GPU
  • GPU選型範圍:H200、RTX 6000、B300(依據模型類型和記憶體需求決定)
  • GPU排程用途:代碼安全掃描可在夜間排程執行,提升利用率
  • 安全防護層級
  • 短期存活代幣(僅限特定任務)
  • 安全沙箱隔離
  • 網路政策控制
  • 機密運算保護(硬體認證、加密)
  • 完整審計與異常檢測
  • 多因素驗證
  • 工作負載路由策略
  • 初級:規則型決定論路由(指定工作類型→特定模型/位置)
  • 中級:基於提示詞內容自動選擇
  • 完整GPU排程:自動路由到適配GPU
  • 客戶部署案例
  • 歐洲防禦工業:主權要求,軟體棧必須本地化
  • 製造業:工廠邊緣部署50+套裝置,不連接網際網路
  • 共享推理平台:多部門使用單一PCAI端點(工程、HR等),成為內部代幣工廠

結論

智慧分配工作到邊界模型或本地開源模型,結合細粒度成本可見性和多層安全防護,是企業從AI代理成本爆增的困境中解脫、並實現真實投資回報的必經之路。

完整解析

代理導致的代幣成本爆炸已成為企業普遍面臨的困境。蘋果、Uber、Meta等大型科技公司近期均宣布削減內部代幣預算,這反映出一個更深層問題:單一代理任務觸發多次模型推理呼叫,導致代幣消耗比傳統聊天機器人增加20-50倍。即使各大模型供應商不斷降低單位代幣價格,總支出仍然飆升,這使得企業開始正視如何更聰明地部署AI。

HPE高級工程主管Sadeepa Wajaskara指出,大多數企業對成本分布毫無可見性,無法回答「我在哪裡花了錢」這個基本問題。第一步必須建立細粒度的代幣追蹤體系,按代理、業務流程、任務類型分門別類標籤化,進而識別最大成本消耗者。只有掌握可見性,才能執行針對性最佳化。同時,建立跨組織的分類標準(本體論)困難重重,工程師在標籤化工作時易產生混亂,業界迫切需要統一的分類標準。

管理代幣成本的核心策略是混合推理。並非所有工作都應送到邊界模型(如GPT-4、Claude)。簡單的資料查詢、內容摘要、訊息篩選等工作可用開源模型(如Llama、GLM)本地運行,成本節省約60%。而複雜的規劃、推理、創意工作才值得用邊界模型。工作負載路由既可基於規則(早期做法),也可基於提示詞內容自動判斷(需謹慎監控)。HPE建議企業從簡單的規則型路由開始,驗證效果後再導入自動化決策。

本地部署(On-Premise)還解決了成本之外的核心顧慮:數據主權和安全性。歐洲防禦產業因國家主權要求本地化整個軟體棧;製造企業為避免工廠機械資料在雲端往返而本地部署;金融機構則因敏感交易數據無法外送而堅持本地推理。HPE在基礎設施層透過多層防護實現安全性:短期存活的認證代幣(限定特定任務)、沙箱隔離、網路政策控制、機密運算(硬體認證層級的加密)、完整稽核。在經濟上,本地部署利用率達60-70%就能回本,遠低於雲端投資門檻,這源於邊界模型按次計費與本地硬體一次性投資的成本差異。

HPE內部已部署此混合策略:Chat HPE(內部聊天介面)可讓員工選擇模型和推理程度,系統自動路由到邊界模型或內部PCAI端點。同樣地,開發者工具(VS Code)能指向內部端點或外部邊界模型。從初期1-2套PCAI系統,HPE已擴展至9套,驗證可擴展性。整個策略最終指向一個更大的轉變:從「代幣成本」的執著轉向「代幣價值」的思考。企業應測量代理導入前後業務流程的成本變化,計算真實的投資回報率。這需要業界統一衡量框架(成本/交易、成本/活動、成本/結果),這正是Tokenomics Foundation著手解決的課題。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資
57 min
AI 技術英文PODCAST11月10日

Canva Is Tackling AI Design’s Most Frustrating Problem with Stefano Corazza- #784

  • 迭代設計是核心:Stefano Caraza 指出 AI 永遠無法達成 100% 完美,必須建立快速迭代迴圈,讓人類持續調整。這推翻了「一次生成完美結果」的矽谷迷思。
  • 獨有資料帶來優勢:Canva 累積十年的設計資料和使用者互動數據,經過許可收集或授權購買。正因為擁有高質量、多樣化的訓練集,才能用更小的模型(百億參數)打敗更大的商業模型。