Your Financial Agent Needs to Show Its Work - Anirudh Veeraragavan, Fieldguide
三句話摘要
構建防衛性智能審計系統,確保 AI 代理在金融決策中具有完整的可追蹤性與問責機制。 金融決策 AI 代理的防衛性不在於最終答案正確,而在於整個決策過程能被完整追蹤、審查與挑戰。 防衛性決策流程勝於正確結論本身:審計業的標準是「經驗豐富但未接手此案的審計師應能理解測試內容、證據及決策推導」。當某審計受查詢時,「模型說沒問題」不是防衛,必須展示完整的決策邏輯與核心依據。Peregrin Financial Group 欺詐案(帳面 2 億美元實際僅 500 萬)說明金融決策失誤的後果極重,防衛性變成法律義務。
重點整理
防衛性決策流程勝於正確結論本身:審計業的標準是「經驗豐富但未接手此案的審計師應能理解測試內容、證據及決策推導」。當某審計受查詢時,「模型說沒問題」不是防衛,必須展示完整的決策邏輯與核心依據。Peregrin Financial Group 欺詐案(帳面 2 億美元實際僅 500 萬)說明金融決策失誤的後果極重,防衛性變成法律義務。
授權控制的時間與狀態維度:代理無法改寫已被人工審核的項目,即使代理有權限且推導正確。因為一旦改寫,審核人員的「已審核」聲明就與實際審核內容不符,破壞了審計追蹤鏈。授權不只問「工具被允許嗎」,而是「此工具在此對象、此時間點、此狀態下被允許嗎」。
執行控制的步驟鏈紀錄:需記錄每步的輸入、輸出、步驟 ID,區分確定性代碼步驟(資料庫查詢、匹配邏輯)與 AI 推理步驟(字段提取、最終結論)。不同時間的運行若結果衝突,可逐步比對找出偏差點,判斷是模型改變、證據更新或其他因素造成。
證據溯源與評估完整性的隱藏風險:簡單註記「1 月銀行對帳單第 2 頁」不足以防衛,必須含版本號、上傳者、內容雜湊。訓練用的「黃金數據」(已審核案例)本身也可能含錯誤、過時案例或因方法改變而失效的決策。97% 的高分可能掩蓋 4 個評估數據錯誤和 12 個因業務規則改變而失效的決策。
實用技巧與重點
- 真實案例
- Peregrin Financial Group:愛荷華州經紀商,掩蓋 20 年銀行欺詐,帳面 $2 億實際 $500 萬
- 虛擬審計案例
- Freight Lines 公司 2026 年結帳:帳簿 $270 萬 vs 銀行 $290 萬,41 項調和項目
- 四層控制機制
- 授權控制:定義誰能在何時對何對象進行何操作
- 執行控制:記錄步驟鏈、區分代碼邏輯與模型推理
- 證據溯源:文件版本、上傳者、內容雜湊等具體身份識別
- 評估完整性:審計訓練數據集本身,查證過時案例、不良證據、方法改變
- 評分分析示例
- 整體得分 97%,內含:4 個評估數據本身的錯誤、12 個因業務規則改變而失效的決策、9 個其他錯誤分類
- 升級比例:80% 代理自動處理,20% 人工複審
- 升級條件
- 代理試圖改寫已審核項目
- 新舊運行結果衝突
- 證據違反品質規則(如非銀行直接來源)
結論
金融決策 AI 代理的防衛性不在於最終答案正確,而在於整個決策過程能被完整追蹤、審查與挑戰。
完整解析
在金融審計中導入 AI 代理的難題不在於技術本身,而在防衛性。監管檢查時,監管者不會接受「評估分數說可以」的回答,而是追問特定交易的決策依據。這正是 Field Guide 面臨的設計挑戰。
Peregrin Financial Group 的真實案例提示了危險性。這家愛荷華州經紀商掩蓋 20 年的銀行欺詐,帳面宣稱 2 億美元,銀行實際僅 500 萬,欺詐曝光時 2 億美元憑空消失。這說明金融決策失誤的後果極重,業界必須為決策負責。審計業有個經典定義:經驗豐富但未接手此案的審計師應能理解測試內容、收集證據與最終決策。將此原則移植到代理系統,需要四層防衛控制。
授權控制的核心是「狀態敏感性」。表面上看,代理有權限、有足夠證據、推導正確,卻不應改寫已被人工審核的銀行協調項目。原因是一旦改寫,審核人員聲稱的「已審核」就與實際審核內容不符,破壞了審計追蹤鏈。授權不只檢查「工具是否被許可調用」,而是「該工具在此對象、此時間點、此狀態下是否被許可」。
執行控制通過步驟鏈紀錄完成。每一步記錄 ID、輸入、輸出,區分確定性代碼步驟(資料庫查詢、項目匹配)與 AI 推理步驟(從 PDF 提取字段、得出結論)。當 2027 年的運行判定「無異常」,但 2028 年重新運行卻發現「異常」,執行控制讓你能逐步回放並精確定位問題所在。不再是「結果錯了」的籠統判定,而是「第 N 步出現偏差,原因是 X」的具體診斷。
證據溯源要求超越簡單的檔名。「1 月銀行對帳單第 2 頁」在大型審計中不足以防衛,因為同名檔案可能多份、版本未指定、上傳者不明。必須為每份證據賦予唯一身份:檔案 ID、版本號、內容雜湊值。這樣可制定精細的規則,例如「只接受銀行直接提供的證據,拒絕用戶可能篡改的上傳檔案」,進而提高決策的可防衛性。
評估完整性的盲點最隱蔽。訓練代理用的「黃金數據」來自去年審核通過的審計,但「已審核」不等於「正確」。可能含前年已過時的案例、基於不良證據的決策、因組織方法論改變而失效的邏輯。看似 97% 的高分可能隱藏 4 個評估數據本身的錯誤,和 12 個因業務規則改變而失效的決策。真實效能可能遠低於表面數字。
最後是升級機制。當代理試圖改寫已審核項目、新舊運行衝突、證據違反規則時,必須升級給人工。設計上避免自動化偏誤——持續詢問人工會導致習慣性同意。所以只升級真正異常的案例,並清楚標記問題。例如「存款 11 個工作天內結清但異常」讓人工快速判斷。平衡是 80% 常規案例由代理自動處理,20% 關鍵異常案例得到充分人工注意。


