Don't Approve the AI Model. Approve the App - Doneyli De Jesus, Langfuse
三句話摘要
受監管產業如何為生產環境的AI應用建立品質評估框架與合規防護機制。 受監管產業的AI應用安全上線不在模型基準分數,而在於以企業自身資料建立黃金數據集、用多維度閘門把控應用層、讓領域專家持續迭代改進。 模型基準不等於實務可用性:公開基準測試無法代表銀行內部資料與特殊業務邏輯,金融機構更關心應用是否符合自身資料安全與合規需求,而非模型在通用數據集的表現。
重點整理
模型基準不等於實務可用性:公開基準測試無法代表銀行內部資料與特殊業務邏輯,金融機構更關心應用是否符合自身資料安全與合規需求,而非模型在通用數據集的表現。
應用層把控優於模型層把控:銀行認證的不是模型,而是應用整體。在系統提示詞、模型選擇、工具配置等應用層面設置防護欄,這樣即使未來更換模型,品質控制也能維持。
多維度評估配合人工審核不可少:單一分數不夠,需要評估接地性、準確性、合規性等多個維度,每個維度設不同閘值。關鍵是讓領域專家定義合理標準,並持續蒐集失敗案例進行反饋改進。
確定性與非確定性評分結合:純LLM判官不夠可靠,需混合使用決定性程式碼評分(如數學計算)與基於LLM的定性評估,才能全面掌握應用品質。
實用技巧與重點
- 具體指標與成果:
- 初始接地性:97%(正面)
- 初始數值準確性:60%(失敗點)
- 添加計算工具後數值準確性:95%
- 銀行設定的閘門標準:85%
- 測試資料集規模:150-1,500個問題
- 評估時間改善:從週級降至分鐘級(風險合規類通常需月級)
- 架構流程:
- 黃金數據集 → 代理執行(規劃→檢索→計算) → 多維度評分 → 質量閘門 → 促晉決策
- 三大銀行需求:
- 本地部署(資料安全)
- 隔離的網路(不經網際網路)
- 氣隙式部署(僅授權人員可訪問)
- 評分維度示例:
- 接地性、完整性、準確性、可用性、法規合規性
結論
受監管產業的AI應用安全上線不在模型基準分數,而在於以企業自身資料建立黃金數據集、用多維度閘門把控應用層、讓領域專家持續迭代改進。
完整解析
在人工智慧快速進展的時代,許多組織面臨著如何安全地將AI應用部署到生產環境的挑戰。LangFuse與一家頂級銀行的合作經驗揭示了受監管產業的獨特困境:公開模型基準(如Opus在各項任務的表現排名)對金融機構而言形同虛設。銀行不在乎模型在通用數據集上有多優秀,只在乎自家應用能否穩定運作且符合法規。這家銀行的具體案例是10K財報分析師工具——每當企業發布季度財報時,投資銀行團隊需要快速提取關鍵數據。但模型只會基於訓練數據進行預測,無法理解銀行特有的內部知識與業務邏輯。
金融機構對AI部署提出三項硬性需求:本地部署(因資料極度敏感,現在許多銀行甚至重啟淘汰多年的資料中心來搭建GPU基礎設施)、隔離的網路環境(避免任何資料外洩風險,即使模型商承諾零資料保留也不信任)、氣隙式部署(確保只有授權人員可存取)。面對這些約束,團隊開發了一套完整的應用評估框架。
首先建立黃金數據集——這是基礎,概念上就像軟體測試的測試用例集。銀行通常已有測試資料,但缺乏系統化的測試框架。每個用例包含輸入、預期輸出與後設資料。評估時,代理會執行規劃→從官方資料源檢索→計算等步驟,產生詳細追蹤日誌(trace)。初始試驗中,某個較小的模型在接地性上達97%(成功從銀行資料庫引用真實數據),但在數值準確性只有60%(因LLM本質上是次文字預測器,擅長語言而非數學)。解決方案是為需要計算的任務提供工具——讓模型調用Python程式碼而不是自己計算——這將準確率提升到95%。
但評估不能只看單一分數。該銀行需要多維度評分:接地性、準確性、法規合規性等,每個維度設定不同閘值。違反任何一項合規要求都會導致整個應用被拒。評分方式採混合策略:確定性程式碼(例如檢查數值是否在允許範圍)與非確定性LLM判官(評估回應品質的定性方面)。最關鍵的是涉入領域專家——風險與合規團隊定義什麼標準才算「可上線」。當系統發現不符合規定的案例時,會為專家生成註記佇列,他們審閱失敗追蹤、提供反饋,這些反饋成為改進黃金數據集的候選。
這套端對端流程將評估時間從通常需時週甚至月的風險合規評估,縮短到分鐘級。並非所有金融應用都適用固定範本,必須根據具體用途定義評估指標。


