KeyFrame內部研究專用

Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval

AI Engineer英文
觀看原始影片

三句話摘要

如何建立有效的評估體系與合規流程,確保語音AI代理在受監管產業(金融科技)的可靠性與準確性。 在受監管產業部署自主系統需要可靠的評估架構,將人工專業判斷與AI判定相結合,透過明確指標定義與閉環迭代改進,才能建立既合規又可信的產品。 金融科技領域的監管剛性需求:貸款流程涉及嚴格法規,語音代理在申請人驗證電話中必須精確遵循三個問題(收入穩定性、資金用途、負債義務),任何誤問都可能觸發監管問題,不只是客戶體驗受損。

重點整理

  1. 金融科技領域的監管剛性需求:貸款流程涉及嚴格法規,語音代理在申請人驗證電話中必須精確遵循三個問題(收入穩定性、資金用途、負債義務),任何誤問都可能觸發監管問題,不只是客戶體驗受損。

  2. 從混亂的試算表到結構化驗證流程:初期使用Google試算表檢查通話時,隨著人力增長,列數從3欄暴增至15欄,數據混亂無章;Koval幫助建立標準化驗證程序,讓各審稿員按統一標準評估。

  3. LLM作為評判者的雙層驗證模式:設定LLM代理為「在職法官」給出合規/違規判定,再由人工專家審查LLM的判定結果,確保系統結果與業域專家觀點一致,初期同意率僅33%,改進後達92%。

  4. 多維度指標與錯誤導向的改進迴圈:從十多個指標精簡至七個核心指標(準確性、清晰度、完整性、一致性、政策正確性、升級處理、CSAT分數),通過聚類分析與異常檢測找出已知失誤與未知問題,優先修復高頻率錯誤,再用模擬環境驗證修正是否有效。

實用技巧與重點

  • 核心流程階段:
  • 自動化處理率:約90%申請者立即解決,10%需電話驗證
  • 三個驗證問題:
  • 收入在接下來三個月是否穩定?
  • 如何使用這筆資金?
  • 是否有未償還義務(如贍養費、薪資扣款)?
  • 禁區示例(監管風險):
  • 禁止詢問醫療用途的具體金額
  • 模糊概念如「畢業旅行」需澄清具體對象
  • 關鍵指標(7項):
  • 準確性、清晰度、完整性、一致性、政策正確性、升級處理、CSAT分數
  • 效能改進數據:
  • 合規性同意率:33% → 92%
  • 模擬測試環境:不同背景噪音、各種口音、聲音品質、打斷等場景
  • 驗證評估分類(3種):
  • 已達成的最終目標
  • 是否遵循實現步驟
  • 對話品質與用戶感受

結論

在受監管產業部署自主系統需要可靠的評估架構,將人工專業判斷與AI判定相結合,透過明確指標定義與閉環迭代改進,才能建立既合規又可信的產品。

完整解析

Upstart的語音AI代理面臨獨特的難題。作為金融科技公司,每日執行數千通貸款申請驗證電話,任何合規失誤不僅損傷客戶體驗,更可能觸發監管風險。初期流程簡單直接:自動化系統已能處理約90%申請者,只有10%需要AI代理進行三個簡短問題的語音驗證。但看似簡單的流程隱含複雜的法規陷阱。例如,不可詢問醫療用途的具體金額(違規),卻必須釐清「畢業旅行」的具體受益人(規範要求)。

然而,初期的檢驗流程完全依賴Google試算表。隨著審查團隊從數人擴展,試算表的列數從3欄瘋狂增長至15欄,不同審稿員隨意新增欄位、輸入數據,整個過程陷入混亂。運營團隊無法從這些雜亂數據中提取改進信號,無法追蹤代理的實際表現。為解決此問題,Koval幫助Upstart建立結構化驗證流程。

改進的核心是引入LLM作為「在職法官」。系統首先讓LLM根據預設標準判定每通電話是否合規,並給出解釋。隨後,人工專家(熟悉金融監管的審稿員)檢視LLM的判定與推理,提供專業反饋。初期這兩者的同意率僅33%,意味著在大多數情況下,LLM與人工專家的判斷不一致。深入分析發現問題根源:許多合規要求並未明確編碼在代理規則中,而是以「部落知識」(隱性知識)存在於審稿員腦中。Upstart開始系統性地編纂這些隱性規則,並改進LLM法官的提示詞與判斷邏輯。經過數週迭代,同意率從33%飆升至92%。

這個改進過程引發了Shiva與團隊重新思考整個評估框架。他們意識到不應盲目追蹤十多個指標,而要聚焦於真正驅動產品品質的核心指標:準確性(是否正確識別申請人身分)、清晰度(代理的口齒是否清楚)、完整性(是否完整回答問題)、一致性(判定邏輯是否一致)、政策正確性(是否遵循合規規則)、升級處理(何時應轉人工)與最終的CSAT分數。

有了準確的評估指標與充足的帶標數據,Upstart建立了一個閉環改進機制。在線上環境,系統連續監控所有通話,使用LLM與聚類分析自動偵測已知失誤與異常情況。對於檢測到的每個錯誤,系統優先識別高頻率的失誤模式,然後導向人工驗證進一步確認。確認後,根據錯誤類型分發給相應團隊:若是政策理解問題,合規團隊採取戰術措施;若是技術問題,工程團隊著手修復代理。在模擬環境中測試修正方案,模擬不同背景噪音、口音、聲音品質、言語中斷等實際場景,驗證修正是否真正奏效。只有通過模擬驗證,改進才能部署至生產環境。這套機制確保了沒有錯誤遺漏,每個檢測到的失誤都推動系統持續改進。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。