Buying Tokens vs Building an AI Factory with Sadeepa Wijesekara - #785
三句話摘要
AI代理導致代幣成本爆增,企業應透過混合推理策略(本地開源模型+邊界模型)與細粒度可見性控制成本並保護數據安全。 智慧分配工作到邊界模型或本地開源模型,結合細粒度成本可見性和多層安全防護,是企業從AI代理成本爆增的困境中解脫、並實現真實投資回報的必經之路。 代理工作負載徹底改變成本方程式
重點整理
代理工作負載徹底改變成本方程式
代理因執行複雜任務需多次模型推理呼叫,導致單一任務消耗代幣數比聊天機器人多20-50倍。即使個別代幣成本下降,總支出仍急升。企業需停止只看每個代幣的價格,改看整體代幣消耗量。
混合推理成為必要策略
並非所有工作都應送到前沿模型。規劃步驟可能值得用高階模型,但簡單的查詢、摘要、內容篩選應用開源模型,成本可節省60%。同時保留邊界模型以處理複雜推理,根據任務特性智慧路由。
可見性與細粒度標籤是基礎
大多數組織無法說明代幣成本分布。需從第零步開始:建立代幣追蹤儀表板,按代理、使用案例、業務流程、子任務層級標籤化。找出最大成本消耗者後,才能執行針對性最佳化。
數據主權與安全控制往往優先於成本
製造商因延遲和可靠性需求本地部署;防禦工業因主權要求本地部署;金融企業因合規和敏感數據無法外送而本地部署。多層安全防護(短期代幣、沙箱隔離、機密運算、稽核日誌)成為採用本地推理的前提。
實用技巧與重點
- 成本與ROI數據
- 代理相比聊天機器人代幣消耗:20-50倍
- 私有雲AI可節省代幣成本:約60%
- 本地部署ROI達成所需利用率:60-70%(遠低於雲端投資要求)
- 開源模型相比邊界模型的落差:1-2個月
- HPE內部部署規模
- 全球員工數:65,000-67,000人
- Chat HPE推出時間:2年前
- PCAI系統部署數量:初期1-2個,現擴展至9個
- 內部推理採混合策略:大量使用邊界模型和開源模型
- 硬體與GPU選擇
- 開發者套件起始:2個GPU
- 最高規格:機架級別256個GPU
- GPU選型範圍:H200、RTX 6000、B300(依據模型類型和記憶體需求決定)
- GPU排程用途:代碼安全掃描可在夜間排程執行,提升利用率
- 安全防護層級
- 短期存活代幣(僅限特定任務)
- 安全沙箱隔離
- 網路政策控制
- 機密運算保護(硬體認證、加密)
- 完整審計與異常檢測
- 多因素驗證
- 工作負載路由策略
- 初級:規則型決定論路由(指定工作類型→特定模型/位置)
- 中級:基於提示詞內容自動選擇
- 完整GPU排程:自動路由到適配GPU
- 客戶部署案例
- 歐洲防禦工業:主權要求,軟體棧必須本地化
- 製造業:工廠邊緣部署50+套裝置,不連接網際網路
- 共享推理平台:多部門使用單一PCAI端點(工程、HR等),成為內部代幣工廠
結論
智慧分配工作到邊界模型或本地開源模型,結合細粒度成本可見性和多層安全防護,是企業從AI代理成本爆增的困境中解脫、並實現真實投資回報的必經之路。
完整解析
代理導致的代幣成本爆炸已成為企業普遍面臨的困境。蘋果、Uber、Meta等大型科技公司近期均宣布削減內部代幣預算,這反映出一個更深層問題:單一代理任務觸發多次模型推理呼叫,導致代幣消耗比傳統聊天機器人增加20-50倍。即使各大模型供應商不斷降低單位代幣價格,總支出仍然飆升,這使得企業開始正視如何更聰明地部署AI。
HPE高級工程主管Sadeepa Wajaskara指出,大多數企業對成本分布毫無可見性,無法回答「我在哪裡花了錢」這個基本問題。第一步必須建立細粒度的代幣追蹤體系,按代理、業務流程、任務類型分門別類標籤化,進而識別最大成本消耗者。只有掌握可見性,才能執行針對性最佳化。同時,建立跨組織的分類標準(本體論)困難重重,工程師在標籤化工作時易產生混亂,業界迫切需要統一的分類標準。
管理代幣成本的核心策略是混合推理。並非所有工作都應送到邊界模型(如GPT-4、Claude)。簡單的資料查詢、內容摘要、訊息篩選等工作可用開源模型(如Llama、GLM)本地運行,成本節省約60%。而複雜的規劃、推理、創意工作才值得用邊界模型。工作負載路由既可基於規則(早期做法),也可基於提示詞內容自動判斷(需謹慎監控)。HPE建議企業從簡單的規則型路由開始,驗證效果後再導入自動化決策。
本地部署(On-Premise)還解決了成本之外的核心顧慮:數據主權和安全性。歐洲防禦產業因國家主權要求本地化整個軟體棧;製造企業為避免工廠機械資料在雲端往返而本地部署;金融機構則因敏感交易數據無法外送而堅持本地推理。HPE在基礎設施層透過多層防護實現安全性:短期存活的認證代幣(限定特定任務)、沙箱隔離、網路政策控制、機密運算(硬體認證層級的加密)、完整稽核。在經濟上,本地部署利用率達60-70%就能回本,遠低於雲端投資門檻,這源於邊界模型按次計費與本地硬體一次性投資的成本差異。
HPE內部已部署此混合策略:Chat HPE(內部聊天介面)可讓員工選擇模型和推理程度,系統自動路由到邊界模型或內部PCAI端點。同樣地,開發者工具(VS Code)能指向內部端點或外部邊界模型。從初期1-2套PCAI系統,HPE已擴展至9套,驗證可擴展性。整個策略最終指向一個更大的轉變:從「代幣成本」的執著轉向「代幣價值」的思考。企業應測量代理導入前後業務流程的成本變化,計算真實的投資回報率。這需要業界統一衡量框架(成本/交易、成本/活動、成本/結果),這正是Tokenomics Foundation著手解決的課題。

