Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse
三句話摘要
如何用 Langfuse 系統性地評估、監控與改進 AI 代理應用,確保其在生產環境中可靠運作。 成功的 AI 應用不是靠單次調整就完成,而是透過系統化的追蹤、評估與持續迴圈,在人工專家的監督下漸進式改進,特別是在金融、醫療等規管領域。 AI 系統的隱形故障問題:代理向用戶承諾執行某項任務(如退款),但實際上從未呼叫相關工具,傳統的系統監控看不出問題,只有等用戶反應才知道。這是非確定性系統的核心風險。
重點整理
AI 系統的隱形故障問題:代理向用戶承諾執行某項任務(如退款),但實際上從未呼叫相關工具,傳統的系統監控看不出問題,只有等用戶反應才知道。這是非確定性系統的核心風險。
AI 工程迴圈框架:追蹤(紀錄代理的每一步)→ 監控(聚合數據找異常)→ 數據集構建(代表性測試案例)→ 實驗(測試提示詞或模型變更)→ 評估(自動測量品質)。這個閉迴圈確保持續改進,不是一次性調整。
規管行業的實踐差異:低風險應用可直接上線再測,但銀行、醫療等受規管領域需先建立黃金數據集,透過專家審核、影子執行或完全人工迴圈來逐步驗證系統。
評估方法的混合策略:單靠 LLM 判官有不一致風險,應搭配確定性檢查(如精確比對);定義明確的失敗模式(如「給投資建議」、「缺少引用來源」),讓評估具體且可重複。
實用技巧與重點
- 平台與指標
- Langfuse:開源追蹤監控平台,150,000+ 開發者使用,Fortune 50 公司中 21 家採用,每月 90 億筆觀察數據
- 自託管版本使用 ClickHouse 作為數據存儲(從 PostgreSQL 遷移以應對規模)
- 銀行助手案例中的機制
- PII 遮蔽:自動隱藏信用卡、SSN 等敏感資料,持久化前即清除
- 客戶角色模擬:測試代理對不同客戶等級(普通 vs 超高淨值客戶)的應對
- 多模式支援:語音轉文字處理聯絡中心通話,自動評估違規
- 數據集構建方法
- 上傳 CSV 或手動新增案例
- 從生產追蹤中選取代表性範例加入數據集
- 專家標註佇列:精簡介面(是/否、1-10 分、評論),讓領域專家 10 秒標一筆
- 自動類別提取:用 LLM 從人工評論中識別模式(失敗模式、改進方向)
- 評估函數類型
- LLM 判官評估:提示詞驅動,示例:「檢查是否遵循銀行法規」
- 代碼評估器:確定性函數,例如正則表達式檢查、精確比對(100% 一致性)
- 實驗與 CI/CD 整合
- 基於數據集的實驗:測試新提示詞、新模型、新工具組合
- 自動化閘門:提示詞版本變更 → GitHub CI 自動運行評估 → 通過/失敗決定是否推進生產
- 最低門檻設定:定義各評估項目的必達分數
- 業務儀表板指標
- 成本效益:1400 筆互動、成本 <$7(相比人工客服 15-20 元/小時)
- 失敗模式排名:超出範圍、非正式用語、未解決爭議等,按發生頻率排序
- 用戶滿意度:拇指上下投票、安全風險類型(投資建議等)聚合
- 入門清單
- Langfuse 技能(AI 編碼代理的指導)+ 官方文檔 + Academy 課程
- 收集歷史/生產數據作為黃金真實
- 定義規管限制(如金融服務絕不給投資建議)
結論
成功的 AI 應用不是靠單次調整就完成,而是透過系統化的追蹤、評估與持續迴圈,在人工專家的監督下漸進式改進,特別是在金融、醫療等規管領域。
完整解析
Langfuse 是一個開源的 AI 觀測平台,解決了傳統監控工具無法發現的 AI 系統問題。當一個支援代理告訴用戶「我已發放退款」但實際上根本沒有呼叫退款工具時,系統的延遲和錯誤率指標看起來都很正常,直到幾週後用戶發現錢沒到帳。這就是為什麼 AI 應用需要特殊的評估框架。
Annabelle 和 Donelli 介紹了 AI 工程迴圈這個核心概念。首先是「追蹤」,將代理的每一步(包括 LLM 呼叫、工具調用、輸入輸出)完整記錄,形成可檢查的日誌。其次是「監控」,把成千上萬的追蹤聚合為可分析的指標——成本、延遲、品質信號(如用戶是否用全大寫表示挫折),以及異常偵測。再來是建構「數據集」,即代表生產環境的測試案例集合,就像軟體測試的 unit test。然後進行「實驗」,系統性地改變提示詞、模型或工具,在數據集上測試以隔離各變數的影響。最後是「評估」,用 LLM 判官或確定性檢查自動測量品質。這個迴圈不是一次性的,而是持續閉合,從生產學習、改進測試集、再推進新版本。
實際案例演示中,Donelli 展示了一個銀行助手的完整設置。系統會自動遮蔽信用卡號碼等 PII,確保合規。對不同客戶等級進行模擬測試,確認代理尊重防護欄——例如當用戶問「我能把錢投入比特幣嗎?」時,代理應拒絕並標記為「投資建議風險」。多模式支援甚至可處理語音通話,自動轉錄並評估。
數據集不需全由人工建立,Langfuse 提供了精簡化流程。領域專家只需花 10 秒為每筆交互標記是/否或評論,系統再用 LLM 自動從這些評論中提煉出常見問題類別。基於這些類別,團隊可定義評估維度,例如「包含正確的引用來源」、「使用正式語調」等。評估方法需要混合——LLM 判官提供靈活性,但確定性檢查(如精確比對)提供無差別的一致性。過度依賴 LLM 判官會有不準確風險,而純粹確定性檢查又太僵硬,所以混合評分才是最佳實踐。
實驗透過 CI/CD 整合實現自動化。每當提示詞版本變更,GitHub Actions 自動觸發評估流程,針對整個數據集運行所有評估函數,並與設定的最低門檻比較。如果新版本在某項指標上不達標,就會失敗,防止低質量配置進入生產。全過程可見、可追蹤,決策有據可查。
業務儀表板將技術指標轉化為領導層能理解的語言。例如,展示一週內有 1400 筆互動未升級到人工代理,成本少於 7 美元,相比人工客服每小時 15-20 美元的成本,已有明顯 ROI。同時聚合失敗模式,顯示「超出範圍」、「非正式用語」、「未解決爭議」的發生比例,引導改進優先級。
最後,發言人強調了自動化和人工介入的平衡。完全自動化(「代理自己修复」)會導致低品質;完全人工(手工標註數千筆數據)耗時且不可擴展。理想狀態是讓領域專家定義問題、策劃數據集、設定防護欄,同時自動化樂器化、異常偵測、實驗執行和評估計算。這樣既保留了人的品味,又用代理的力量去規模化執行。


