KeyFrame內部研究專用

Don't Approve the AI Model. Approve the App - Doneyli De Jesus, Langfuse

AI Engineer英文
觀看原始影片

三句話摘要

受監管產業如何為生產環境的AI應用建立品質評估框架與合規防護機制。 受監管產業的AI應用安全上線不在模型基準分數,而在於以企業自身資料建立黃金數據集、用多維度閘門把控應用層、讓領域專家持續迭代改進。 模型基準不等於實務可用性:公開基準測試無法代表銀行內部資料與特殊業務邏輯,金融機構更關心應用是否符合自身資料安全與合規需求,而非模型在通用數據集的表現。

重點整理

  1. 模型基準不等於實務可用性:公開基準測試無法代表銀行內部資料與特殊業務邏輯,金融機構更關心應用是否符合自身資料安全與合規需求,而非模型在通用數據集的表現。

  2. 應用層把控優於模型層把控:銀行認證的不是模型,而是應用整體。在系統提示詞、模型選擇、工具配置等應用層面設置防護欄,這樣即使未來更換模型,品質控制也能維持。

  3. 多維度評估配合人工審核不可少:單一分數不夠,需要評估接地性、準確性、合規性等多個維度,每個維度設不同閘值。關鍵是讓領域專家定義合理標準,並持續蒐集失敗案例進行反饋改進。

  4. 確定性與非確定性評分結合:純LLM判官不夠可靠,需混合使用決定性程式碼評分(如數學計算)與基於LLM的定性評估,才能全面掌握應用品質。

實用技巧與重點

  • 具體指標與成果:
  • 初始接地性:97%(正面)
  • 初始數值準確性:60%(失敗點)
  • 添加計算工具後數值準確性:95%
  • 銀行設定的閘門標準:85%
  • 測試資料集規模:150-1,500個問題
  • 評估時間改善:從週級降至分鐘級(風險合規類通常需月級)
  • 架構流程:
  • 黃金數據集 → 代理執行(規劃→檢索→計算) → 多維度評分 → 質量閘門 → 促晉決策
  • 三大銀行需求:
  • 本地部署(資料安全)
  • 隔離的網路(不經網際網路)
  • 氣隙式部署(僅授權人員可訪問)
  • 評分維度示例:
  • 接地性、完整性、準確性、可用性、法規合規性

結論

受監管產業的AI應用安全上線不在模型基準分數,而在於以企業自身資料建立黃金數據集、用多維度閘門把控應用層、讓領域專家持續迭代改進。

完整解析

在人工智慧快速進展的時代,許多組織面臨著如何安全地將AI應用部署到生產環境的挑戰。LangFuse與一家頂級銀行的合作經驗揭示了受監管產業的獨特困境:公開模型基準(如Opus在各項任務的表現排名)對金融機構而言形同虛設。銀行不在乎模型在通用數據集上有多優秀,只在乎自家應用能否穩定運作且符合法規。這家銀行的具體案例是10K財報分析師工具——每當企業發布季度財報時,投資銀行團隊需要快速提取關鍵數據。但模型只會基於訓練數據進行預測,無法理解銀行特有的內部知識與業務邏輯。

金融機構對AI部署提出三項硬性需求:本地部署(因資料極度敏感,現在許多銀行甚至重啟淘汰多年的資料中心來搭建GPU基礎設施)、隔離的網路環境(避免任何資料外洩風險,即使模型商承諾零資料保留也不信任)、氣隙式部署(確保只有授權人員可存取)。面對這些約束,團隊開發了一套完整的應用評估框架。

首先建立黃金數據集——這是基礎,概念上就像軟體測試的測試用例集。銀行通常已有測試資料,但缺乏系統化的測試框架。每個用例包含輸入、預期輸出與後設資料。評估時,代理會執行規劃→從官方資料源檢索→計算等步驟,產生詳細追蹤日誌(trace)。初始試驗中,某個較小的模型在接地性上達97%(成功從銀行資料庫引用真實數據),但在數值準確性只有60%(因LLM本質上是次文字預測器,擅長語言而非數學)。解決方案是為需要計算的任務提供工具——讓模型調用Python程式碼而不是自己計算——這將準確率提升到95%。

但評估不能只看單一分數。該銀行需要多維度評分:接地性、準確性、法規合規性等,每個維度設定不同閘值。違反任何一項合規要求都會導致整個應用被拒。評分方式採混合策略:確定性程式碼(例如檢查數值是否在允許範圍)與非確定性LLM判官(評估回應品質的定性方面)。最關鍵的是涉入領域專家——風險與合規團隊定義什麼標準才算「可上線」。當系統發現不符合規定的案例時,會為專家生成註記佇列,他們審閱失敗追蹤、提供反饋,這些反饋成為改進黃金數據集的候選。

這套端對端流程將評估時間從通常需時週甚至月的風險合規評估,縮短到分鐘級。並非所有金融應用都適用固定範本,必須根據具體用途定義評估指標。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。