Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval
三句話摘要
如何建立有效的評估體系與合規流程,確保語音AI代理在受監管產業(金融科技)的可靠性與準確性。 在受監管產業部署自主系統需要可靠的評估架構,將人工專業判斷與AI判定相結合,透過明確指標定義與閉環迭代改進,才能建立既合規又可信的產品。 金融科技領域的監管剛性需求:貸款流程涉及嚴格法規,語音代理在申請人驗證電話中必須精確遵循三個問題(收入穩定性、資金用途、負債義務),任何誤問都可能觸發監管問題,不只是客戶體驗受損。
重點整理
金融科技領域的監管剛性需求:貸款流程涉及嚴格法規,語音代理在申請人驗證電話中必須精確遵循三個問題(收入穩定性、資金用途、負債義務),任何誤問都可能觸發監管問題,不只是客戶體驗受損。
從混亂的試算表到結構化驗證流程:初期使用Google試算表檢查通話時,隨著人力增長,列數從3欄暴增至15欄,數據混亂無章;Koval幫助建立標準化驗證程序,讓各審稿員按統一標準評估。
LLM作為評判者的雙層驗證模式:設定LLM代理為「在職法官」給出合規/違規判定,再由人工專家審查LLM的判定結果,確保系統結果與業域專家觀點一致,初期同意率僅33%,改進後達92%。
多維度指標與錯誤導向的改進迴圈:從十多個指標精簡至七個核心指標(準確性、清晰度、完整性、一致性、政策正確性、升級處理、CSAT分數),通過聚類分析與異常檢測找出已知失誤與未知問題,優先修復高頻率錯誤,再用模擬環境驗證修正是否有效。
實用技巧與重點
- 核心流程階段:
- 自動化處理率:約90%申請者立即解決,10%需電話驗證
- 三個驗證問題:
- 收入在接下來三個月是否穩定?
- 如何使用這筆資金?
- 是否有未償還義務(如贍養費、薪資扣款)?
- 禁區示例(監管風險):
- 禁止詢問醫療用途的具體金額
- 模糊概念如「畢業旅行」需澄清具體對象
- 關鍵指標(7項):
- 準確性、清晰度、完整性、一致性、政策正確性、升級處理、CSAT分數
- 效能改進數據:
- 合規性同意率:33% → 92%
- 模擬測試環境:不同背景噪音、各種口音、聲音品質、打斷等場景
- 驗證評估分類(3種):
- 已達成的最終目標
- 是否遵循實現步驟
- 對話品質與用戶感受
結論
在受監管產業部署自主系統需要可靠的評估架構,將人工專業判斷與AI判定相結合,透過明確指標定義與閉環迭代改進,才能建立既合規又可信的產品。
完整解析
Upstart的語音AI代理面臨獨特的難題。作為金融科技公司,每日執行數千通貸款申請驗證電話,任何合規失誤不僅損傷客戶體驗,更可能觸發監管風險。初期流程簡單直接:自動化系統已能處理約90%申請者,只有10%需要AI代理進行三個簡短問題的語音驗證。但看似簡單的流程隱含複雜的法規陷阱。例如,不可詢問醫療用途的具體金額(違規),卻必須釐清「畢業旅行」的具體受益人(規範要求)。
然而,初期的檢驗流程完全依賴Google試算表。隨著審查團隊從數人擴展,試算表的列數從3欄瘋狂增長至15欄,不同審稿員隨意新增欄位、輸入數據,整個過程陷入混亂。運營團隊無法從這些雜亂數據中提取改進信號,無法追蹤代理的實際表現。為解決此問題,Koval幫助Upstart建立結構化驗證流程。
改進的核心是引入LLM作為「在職法官」。系統首先讓LLM根據預設標準判定每通電話是否合規,並給出解釋。隨後,人工專家(熟悉金融監管的審稿員)檢視LLM的判定與推理,提供專業反饋。初期這兩者的同意率僅33%,意味著在大多數情況下,LLM與人工專家的判斷不一致。深入分析發現問題根源:許多合規要求並未明確編碼在代理規則中,而是以「部落知識」(隱性知識)存在於審稿員腦中。Upstart開始系統性地編纂這些隱性規則,並改進LLM法官的提示詞與判斷邏輯。經過數週迭代,同意率從33%飆升至92%。
這個改進過程引發了Shiva與團隊重新思考整個評估框架。他們意識到不應盲目追蹤十多個指標,而要聚焦於真正驅動產品品質的核心指標:準確性(是否正確識別申請人身分)、清晰度(代理的口齒是否清楚)、完整性(是否完整回答問題)、一致性(判定邏輯是否一致)、政策正確性(是否遵循合規規則)、升級處理(何時應轉人工)與最終的CSAT分數。
有了準確的評估指標與充足的帶標數據,Upstart建立了一個閉環改進機制。在線上環境,系統連續監控所有通話,使用LLM與聚類分析自動偵測已知失誤與異常情況。對於檢測到的每個錯誤,系統優先識別高頻率的失誤模式,然後導向人工驗證進一步確認。確認後,根據錯誤類型分發給相應團隊:若是政策理解問題,合規團隊採取戰術措施;若是技術問題,工程團隊著手修復代理。在模擬環境中測試修正方案,模擬不同背景噪音、口音、聲音品質、言語中斷等實際場景,驗證修正是否真正奏效。只有通過模擬驗證,改進才能部署至生產環境。這套機制確保了沒有錯誤遺漏,每個檢測到的失誤都推動系統持續改進。


