KeyFrame內部研究專用

Why Off-the-Shelf AI Doesn't Understand Money — Udi Menkes, Intuit

AI Engineer19 min英文
觀看原始影片

三句話摘要

LLM雖能流暢談論金錢,卻因缺乏實際運作經驗而給出危害業務的建議,解決方案是用實際結果訓練模型而非依賴文本知識。 現成LLM不了解金錢的實際運作,但基於驗證結果訓練的模型就了解了——差距不在模型大小,而在於是否掌握因果認知與實績數據。 情境堆積不等於經驗

重點整理

  1. 情境堆積不等於經驗

  2. LLM能存取公司全部財務數據,但這只是數據點集合,無法理解因果關係與實際運作邏輯。三歲女兒說「再買一個就好」與LLM建議「買第二套房」犯同樣錯誤——看不到約束條件與風險。

  3. 虛張聲勢的根源在於學習源頭

  4. LLM從互聯網、博客、書籍、建議專欄學習金錢知識,這些來源傳遞的是敘事與理論,不是驗證過的因果關係。教科書說「削成本」,但若該供應商貢獻97%收入,削成本反而致命。

  5. 因果測量需要對照設計

  6. 用條件平均處理誤差(CATE)衡量行動效果。提價看似讓利潤增加1400美元,但提價的企業本身就更成功,實際效果是1150美元。LLM無法從單一時間序列數據中解構這種因果。

  7. 基於實際結果的模型倍增性能

  8. 普林斯頓研究給模型100萬美元模擬500天決策,大多數LLM導致破產,簡單規則系統反而勝出。演講者團隊用強化學習訓練判斷器篩選LLM生成的行動候選,用中等規模模型超越所有前沿模型。

實用技巧與重點

  • 量化案例對比
  • | 場景 | LLM建議 | 實際最優 | 風險 |
  • |-----|--------|--------|-----|
  • | 租賃房東 | 買第二套房 | 提租5-10%(續約前) | 負現金流狀態提議擴張 |
  • | 雞蛋供應商 | 提價15-20% | 協商供應商降成本5-10% | 一客戶70%收入、一供應商100%成本 |
  • | 衣服公司 | 削減80%最大成本 | 保護該供應商 | 供應商雖占成本80%卻創造收入97% |
  • 研究規模
  • 研究覆蓋成千上萬家企業、約10萬種情況、跨時間範圍
  • 普林斯頓實驗:模型各獲100萬美元、模擬500天、大多數導致破產
  • 方法論步驟
  • 數據源:QuickBooks、Turbotax、Credit Karma、Mailchimp
  • 創建「業務狀態」:在特定時點詳細總結(含總帳、損益表、現金流、發票)
  • 推導行動集合:從數據反推企業採取的行動(行銷投資、員工薪資、招募成本等)
  • 構造訓練集:數百萬個(狀態-行動-結果)向量
  • 訓練強化學習模型:判斷類似業務情況下哪些行動最佳
  • 訓練LLM層:生成建議並以同類企業實績為論證
  • 關鍵指標
  • CATE(Conditional Average Treatment Effect):衡量控制混淆變數後的因果效應
  • 模型表現:中等規模模型(較便宜)超越所有前沿模型
  • 工具與服務
  • 產品名稱:AI商業顧問(測試階段、研究預覽中)
  • 功能:主動提示機會、說明同類企業實績、支援情況深入與行動計劃

結論

現成LLM不了解金錢的實際運作,但基於驗證結果訓練的模型就了解了——差距不在模型大小,而在於是否掌握因果認知與實績數據。

完整解析

演講者Udy Menquez開場用三歲女兒的故事類比LLM在金錢上的問題:女兒看到刮花的車說「再買一個就好」,恰好反映LLM在金融決策中流暢卻危險的虛張聲勢。他在金融AI工作15年,最近面臨投資決策時用最新LLM尋求建議——模型連續修改假設後的結論完全反轉,這觸發了他的研究課題。

核心發現是LLM的學習機制決定了其局限。LLM從互聯網、書籍、建議專欄習得的金錢知識是敘述與理論,而非驗證過的因果關係。這導致兩種虛張聲勢:一是給出聽起來合理但實際危害的建議(如房東案例建議買第二套房來補現金流,而該企業正負債累累),二是超過半數建議本質上就是「獲取新客戶」與「提升定價」這類教科書解答。普林斯頓大學最近的研究證實了這一點——給LLM模型各100萬美元進行500天模擬決策,大多數導致破產,反而是簡單的規則系統勝出。

他的團隊採用了結果導向的方法。第一步從QuickBooks、Turbotax等整合企業財務全景,包括總帳、損益表、現金流、發票;第二步精細構造「業務狀態」——在特定時點詳細描述企業處境,同時從數據反推其採取過哪些行動;第三步構造數百萬個(狀態-行動-結果)向量,訓練強化學習模型理解在類似企業的類似情況下哪些行動帶來最佳結果;第四步訓練LLM模型生成建議並以同類企業實績為論證基礎。關鍵技術工具是CATE(條件平均處理誤差),它能在控制混淆變數後測量因果效應,例如區分「提價導致利潤增加」與「成功企業才能提價」。

成果出人意料:中等規模、成本更低的模型在直接對標測試中超越所有前沿模型。這不是大小競賽,而是數據與因果理解的護城河。他們將此應用於AI商業顧問產品(目前測試階段),能主動為企業創造機會並解釋「你應該這樣做,因為類似你這樣的企業做過且我們有驗證結果」。從宏觀看,這代表AI領域進入結果導向時代——贏家將是擁有最佳記錄系統、從中創建獨特數據集、訓練模型實現預期結果的人。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。