KeyFrame內部研究專用

The Cheaper AI Model That Costs You More - Rayan Krishnan, Vals AI

AI Engineer英文
觀看原始影片

三句話摘要

透過精準評估基準來衡量AI模型的真實效能,並指導企業在代幣支出與業務成果之間的成本優化決策。 企業應從真實工作歷史構建評估系統,才能打破模型選擇的直覺偏差,實現成本與效能的真正優化。 鋸齒狀前沿的現實

重點整理

  1. 鋸齒狀前沿的現實

  2. 模型在通用基準上的排名與在特定任務上的表現不一致。Fable 5.1在Excel建模中最優,但在LBO子任務上則落出帕雷托前沿,導致企業選錯工具而大幅超支。這說明單一的高級別指標無法指導實際的模型選擇。

  3. 成本與智能的反向關係

  4. 較低智能的模型為了完成任務會輸出更多代幣,最終成本反而更高。Opus 5.5紙上便宜,實際稅務基準測試卻昂貴14倍且分數低3%,而使用更強的Fable 5.1反而省錢得分好。直覺上的成本優化往往適得其反。

  5. 評估設計的三個支柱

  6. 有效性(任務是否反映真實工作)、可靠性(樣本數是否充分)、區分度(是否能區分模型好壞)。指標選擇也至關重要——部分積分 vs 完全正確會導致截然不同的結論,前者可能隱藏實際無法交付給客戶的風險。

  7. 從真實工作歷史構建評估

  8. 透過分析企業既有的GitHub倉庫、郵件、文檔等歷史工作記錄,可抽取真實任務並評估模型。這將機構知識編碼成可量化的標準,是AI採納的關鍵解鎖。

實用技巧與重點

  • 模型與基準
  • Val's Index:跨領域經濟影響評估(金融、法律、編程、醫療)
  • Excel建模基準、稅務代理基準、金融研究基準等領域特定評估
  • Val Smith:內部工具,已作為商業產品推出
  • 成本數據
  • Opus 5.5 vs Fable 5.1(稅務任務):Opus成本高14倍、分數低3%
  • GPT-5.6 Soul vs Kimiko 3:性能高2%、成本$2.50 vs $11、速度快2倍
  • 團隊自由使用代幣:10-12人團隊月花費150萬美元
  • 最佳化後降幅:成本減少90%
  • 企業採納現狀
  • AI年支出增長率:約2倍
  • 企業採納率:90%定期使用,僅7%確立ROI
  • 能追蹤AI成本的企業更可能理解ROI來源
  • 評估規模
  • 累積評估代幣量:超過6兆
  • 評估內容運行在最高度的平行處理上

結論

企業應從真實工作歷史構建評估系統,才能打破模型選擇的直覺偏差,實現成本與效能的真正優化。

完整解析

這場演講的核心議題是企業如何突破AI投資回報的盲區。首先,講者指出現有的模型卡片和基準雖然提供了有用的高級別指標(如Val's Index),但無法反映企業實際使用場景的複雜性。他引入了「鋸齒狀前沿」的概念——同一模型在不同任務間的表現可能天差地別。以金融Excel建模為例,即使模型在通用基準上排名靠前,在特定的LBO建模任務中可能完全不是最優選擇,這意味著直接套用通用基準進行決策會導致嚴重的成本浪費。

與此並行的是一個令人警惕的現象:儘管企業AI採納率高達90%、年度支出增長2倍,但僅有7%的企業能確立清晰的投資回報率。能追蹤AI成本的企業往往能更好地理解ROI來源,但大多數企業缺乏這種成本意識。講者以親身經歷說明問題的嚴重性:團隊在獲得無限代幣時,單月花費150萬美元,相當於月薪的10倍,儘管產出質量確實提升,但成本完全失控。

更讓人吃驚的是「直覺陷阱」。許多決策者假設便宜的模型應該帶來成本節省,但實際情況恰恰相反。Opus 5.5紙面上比Fable 5.1便宜(4-20美元 vs 10-50美元),但在特定稅務基準上,實際總成本卻貴14倍,原因是智能較低的模型必須輸出更多代幣才能完成任務,且最終結果還更差(低3%)。類似地,許多企業假設使用自託管開源模型能夠降低成本,但實測表明GPT-5.6 Soul實際上性能更好(高2%)、更便宜(2.50美元 vs 11美元)、更快(快一倍)。

講者的解決方案是構建針對性的評估系統(Val Smith)。其核心思想是利用企業既有的真實工作歷史——特別是GitHub倉庫中的PR和issue——作為評估基準。透過回溯地給不同模型分配相同的任務,企業可以測試哪些模型真正適合自己的工作。這套方法的威力在於它破除了眾多直覺上的錯誤假設,並最終帶來了實實在在的成本節省——該團隊的成本下降了90%,同時保持了相同的輸出質量。

構建有效評估系統需要注意三個關鍵要素:有效性(評估任務是否真實反映企業工作)、可靠性(樣本數是否充分以保證重複結果一致)、區分度(基準是否能有效區分不同模型)。此外,評估指標的選擇至關重要——部分積分制(期望回報百分比)與完全正確制(完美答案百分比)會給出截然不同的模型表現圖景。在某些場景下,模型可能通過給出多個可能答案來「作弊」,滿足所有評估標準,但在實際應用中這種策略完全不可接受。評估還應該前瞻性地設計,包含模型尚未完全掌握的任務類型,為未來的進步留出空間。

演講最後觸及了一個深層的戰略見解:許多企業的核心競爭優勢存在於員工的頭腦中,以「機構知識」的形式體現。通過構建高效評估系統,企業可以將這些隱性知識編碼成明確的標準、指標和指引,實現競爭優勢的制度化和可傳承化,這將是企業在代理AI時代取得成功的關鍵。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。