The Cheaper AI Model That Costs You More - Rayan Krishnan, Vals AI
三句話摘要
透過精準評估基準來衡量AI模型的真實效能,並指導企業在代幣支出與業務成果之間的成本優化決策。 企業應從真實工作歷史構建評估系統,才能打破模型選擇的直覺偏差,實現成本與效能的真正優化。 鋸齒狀前沿的現實
重點整理
鋸齒狀前沿的現實
模型在通用基準上的排名與在特定任務上的表現不一致。Fable 5.1在Excel建模中最優,但在LBO子任務上則落出帕雷托前沿,導致企業選錯工具而大幅超支。這說明單一的高級別指標無法指導實際的模型選擇。
成本與智能的反向關係
較低智能的模型為了完成任務會輸出更多代幣,最終成本反而更高。Opus 5.5紙上便宜,實際稅務基準測試卻昂貴14倍且分數低3%,而使用更強的Fable 5.1反而省錢得分好。直覺上的成本優化往往適得其反。
評估設計的三個支柱
有效性(任務是否反映真實工作)、可靠性(樣本數是否充分)、區分度(是否能區分模型好壞)。指標選擇也至關重要——部分積分 vs 完全正確會導致截然不同的結論,前者可能隱藏實際無法交付給客戶的風險。
從真實工作歷史構建評估
透過分析企業既有的GitHub倉庫、郵件、文檔等歷史工作記錄,可抽取真實任務並評估模型。這將機構知識編碼成可量化的標準,是AI採納的關鍵解鎖。
實用技巧與重點
- 模型與基準
- Val's Index:跨領域經濟影響評估(金融、法律、編程、醫療)
- Excel建模基準、稅務代理基準、金融研究基準等領域特定評估
- Val Smith:內部工具,已作為商業產品推出
- 成本數據
- Opus 5.5 vs Fable 5.1(稅務任務):Opus成本高14倍、分數低3%
- GPT-5.6 Soul vs Kimiko 3:性能高2%、成本$2.50 vs $11、速度快2倍
- 團隊自由使用代幣:10-12人團隊月花費150萬美元
- 最佳化後降幅:成本減少90%
- 企業採納現狀
- AI年支出增長率:約2倍
- 企業採納率:90%定期使用,僅7%確立ROI
- 能追蹤AI成本的企業更可能理解ROI來源
- 評估規模
- 累積評估代幣量:超過6兆
- 評估內容運行在最高度的平行處理上
結論
企業應從真實工作歷史構建評估系統,才能打破模型選擇的直覺偏差,實現成本與效能的真正優化。
完整解析
這場演講的核心議題是企業如何突破AI投資回報的盲區。首先,講者指出現有的模型卡片和基準雖然提供了有用的高級別指標(如Val's Index),但無法反映企業實際使用場景的複雜性。他引入了「鋸齒狀前沿」的概念——同一模型在不同任務間的表現可能天差地別。以金融Excel建模為例,即使模型在通用基準上排名靠前,在特定的LBO建模任務中可能完全不是最優選擇,這意味著直接套用通用基準進行決策會導致嚴重的成本浪費。
與此並行的是一個令人警惕的現象:儘管企業AI採納率高達90%、年度支出增長2倍,但僅有7%的企業能確立清晰的投資回報率。能追蹤AI成本的企業往往能更好地理解ROI來源,但大多數企業缺乏這種成本意識。講者以親身經歷說明問題的嚴重性:團隊在獲得無限代幣時,單月花費150萬美元,相當於月薪的10倍,儘管產出質量確實提升,但成本完全失控。
更讓人吃驚的是「直覺陷阱」。許多決策者假設便宜的模型應該帶來成本節省,但實際情況恰恰相反。Opus 5.5紙面上比Fable 5.1便宜(4-20美元 vs 10-50美元),但在特定稅務基準上,實際總成本卻貴14倍,原因是智能較低的模型必須輸出更多代幣才能完成任務,且最終結果還更差(低3%)。類似地,許多企業假設使用自託管開源模型能夠降低成本,但實測表明GPT-5.6 Soul實際上性能更好(高2%)、更便宜(2.50美元 vs 11美元)、更快(快一倍)。
講者的解決方案是構建針對性的評估系統(Val Smith)。其核心思想是利用企業既有的真實工作歷史——特別是GitHub倉庫中的PR和issue——作為評估基準。透過回溯地給不同模型分配相同的任務,企業可以測試哪些模型真正適合自己的工作。這套方法的威力在於它破除了眾多直覺上的錯誤假設,並最終帶來了實實在在的成本節省——該團隊的成本下降了90%,同時保持了相同的輸出質量。
構建有效評估系統需要注意三個關鍵要素:有效性(評估任務是否真實反映企業工作)、可靠性(樣本數是否充分以保證重複結果一致)、區分度(基準是否能有效區分不同模型)。此外,評估指標的選擇至關重要——部分積分制(期望回報百分比)與完全正確制(完美答案百分比)會給出截然不同的模型表現圖景。在某些場景下,模型可能通過給出多個可能答案來「作弊」,滿足所有評估標準,但在實際應用中這種策略完全不可接受。評估還應該前瞻性地設計,包含模型尚未完全掌握的任務類型,為未來的進步留出空間。
演講最後觸及了一個深層的戰略見解:許多企業的核心競爭優勢存在於員工的頭腦中,以「機構知識」的形式體現。通過構建高效評估系統,企業可以將這些隱性知識編碼成明確的標準、指標和指引,實現競爭優勢的制度化和可傳承化,這將是企業在代理AI時代取得成功的關鍵。


