KeyFrame內部研究專用

Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse

AI Engineer英文
觀看原始影片

三句話摘要

如何用 Langfuse 系統性地評估、監控與改進 AI 代理應用,確保其在生產環境中可靠運作。 成功的 AI 應用不是靠單次調整就完成,而是透過系統化的追蹤、評估與持續迴圈,在人工專家的監督下漸進式改進,特別是在金融、醫療等規管領域。 AI 系統的隱形故障問題:代理向用戶承諾執行某項任務(如退款),但實際上從未呼叫相關工具,傳統的系統監控看不出問題,只有等用戶反應才知道。這是非確定性系統的核心風險。

重點整理

  1. AI 系統的隱形故障問題:代理向用戶承諾執行某項任務(如退款),但實際上從未呼叫相關工具,傳統的系統監控看不出問題,只有等用戶反應才知道。這是非確定性系統的核心風險。

  2. AI 工程迴圈框架:追蹤(紀錄代理的每一步)→ 監控(聚合數據找異常)→ 數據集構建(代表性測試案例)→ 實驗(測試提示詞或模型變更)→ 評估(自動測量品質)。這個閉迴圈確保持續改進,不是一次性調整。

  3. 規管行業的實踐差異:低風險應用可直接上線再測,但銀行、醫療等受規管領域需先建立黃金數據集,透過專家審核、影子執行或完全人工迴圈來逐步驗證系統。

  4. 評估方法的混合策略:單靠 LLM 判官有不一致風險,應搭配確定性檢查(如精確比對);定義明確的失敗模式(如「給投資建議」、「缺少引用來源」),讓評估具體且可重複。

實用技巧與重點

  • 平台與指標
  • Langfuse:開源追蹤監控平台,150,000+ 開發者使用,Fortune 50 公司中 21 家採用,每月 90 億筆觀察數據
  • 自託管版本使用 ClickHouse 作為數據存儲(從 PostgreSQL 遷移以應對規模)
  • 銀行助手案例中的機制
  • PII 遮蔽:自動隱藏信用卡、SSN 等敏感資料,持久化前即清除
  • 客戶角色模擬:測試代理對不同客戶等級(普通 vs 超高淨值客戶)的應對
  • 多模式支援:語音轉文字處理聯絡中心通話,自動評估違規
  • 數據集構建方法
  • 上傳 CSV 或手動新增案例
  • 從生產追蹤中選取代表性範例加入數據集
  • 專家標註佇列:精簡介面(是/否、1-10 分、評論),讓領域專家 10 秒標一筆
  • 自動類別提取:用 LLM 從人工評論中識別模式(失敗模式、改進方向)
  • 評估函數類型
  • LLM 判官評估:提示詞驅動,示例:「檢查是否遵循銀行法規」
  • 代碼評估器:確定性函數,例如正則表達式檢查、精確比對(100% 一致性)
  • 實驗與 CI/CD 整合
  • 基於數據集的實驗:測試新提示詞、新模型、新工具組合
  • 自動化閘門:提示詞版本變更 → GitHub CI 自動運行評估 → 通過/失敗決定是否推進生產
  • 最低門檻設定:定義各評估項目的必達分數
  • 業務儀表板指標
  • 成本效益:1400 筆互動、成本 <$7(相比人工客服 15-20 元/小時)
  • 失敗模式排名:超出範圍、非正式用語、未解決爭議等,按發生頻率排序
  • 用戶滿意度:拇指上下投票、安全風險類型(投資建議等)聚合
  • 入門清單
  • Langfuse 技能(AI 編碼代理的指導)+ 官方文檔 + Academy 課程
  • 收集歷史/生產數據作為黃金真實
  • 定義規管限制(如金融服務絕不給投資建議)

結論

成功的 AI 應用不是靠單次調整就完成,而是透過系統化的追蹤、評估與持續迴圈,在人工專家的監督下漸進式改進,特別是在金融、醫療等規管領域。

完整解析

Langfuse 是一個開源的 AI 觀測平台,解決了傳統監控工具無法發現的 AI 系統問題。當一個支援代理告訴用戶「我已發放退款」但實際上根本沒有呼叫退款工具時,系統的延遲和錯誤率指標看起來都很正常,直到幾週後用戶發現錢沒到帳。這就是為什麼 AI 應用需要特殊的評估框架。

Annabelle 和 Donelli 介紹了 AI 工程迴圈這個核心概念。首先是「追蹤」,將代理的每一步(包括 LLM 呼叫、工具調用、輸入輸出)完整記錄,形成可檢查的日誌。其次是「監控」,把成千上萬的追蹤聚合為可分析的指標——成本、延遲、品質信號(如用戶是否用全大寫表示挫折),以及異常偵測。再來是建構「數據集」,即代表生產環境的測試案例集合,就像軟體測試的 unit test。然後進行「實驗」,系統性地改變提示詞、模型或工具,在數據集上測試以隔離各變數的影響。最後是「評估」,用 LLM 判官或確定性檢查自動測量品質。這個迴圈不是一次性的,而是持續閉合,從生產學習、改進測試集、再推進新版本。

實際案例演示中,Donelli 展示了一個銀行助手的完整設置。系統會自動遮蔽信用卡號碼等 PII,確保合規。對不同客戶等級進行模擬測試,確認代理尊重防護欄——例如當用戶問「我能把錢投入比特幣嗎?」時,代理應拒絕並標記為「投資建議風險」。多模式支援甚至可處理語音通話,自動轉錄並評估。

數據集不需全由人工建立,Langfuse 提供了精簡化流程。領域專家只需花 10 秒為每筆交互標記是/否或評論,系統再用 LLM 自動從這些評論中提煉出常見問題類別。基於這些類別,團隊可定義評估維度,例如「包含正確的引用來源」、「使用正式語調」等。評估方法需要混合——LLM 判官提供靈活性,但確定性檢查(如精確比對)提供無差別的一致性。過度依賴 LLM 判官會有不準確風險,而純粹確定性檢查又太僵硬,所以混合評分才是最佳實踐。

實驗透過 CI/CD 整合實現自動化。每當提示詞版本變更,GitHub Actions 自動觸發評估流程,針對整個數據集運行所有評估函數,並與設定的最低門檻比較。如果新版本在某項指標上不達標,就會失敗,防止低質量配置進入生產。全過程可見、可追蹤,決策有據可查。

業務儀表板將技術指標轉化為領導層能理解的語言。例如,展示一週內有 1400 筆互動未升級到人工代理,成本少於 7 美元,相比人工客服每小時 15-20 美元的成本,已有明顯 ROI。同時聚合失敗模式,顯示「超出範圍」、「非正式用語」、「未解決爭議」的發生比例,引導改進優先級。

最後,發言人強調了自動化和人工介入的平衡。完全自動化(「代理自己修复」)會導致低品質;完全人工(手工標註數千筆數據)耗時且不可擴展。理想狀態是讓領域專家定義問題、策劃數據集、設定防護欄,同時自動化樂器化、異常偵測、實驗執行和評估計算。這樣既保留了人的品味,又用代理的力量去規模化執行。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。