Building the AI Agent Is Easy. Proving It's Safe Isn't - Jonathan Osborne, NatWest
三句話摘要
在受監管的銀行環境中,將AI代理從原型部署到生產環境所需的安全驗證與評估框架。 在受監管環境部署顧客面向AI代理的成敗關鍵不在模型本身,而在能否透過多層防禦、精心校準的評判員與連續監測基礎設施來系統性地證明其安全性。 傳統腳本系統失敗邊界清晰可預測,但AI代理具四大風險:自信地輸出幻覺資訊、被提示注入攻擊、給出冗長無用的正確答案、輸出不確定。這些特性讓傳統單元測試與迴歸測試完全失效,無法透過傳統軟體工程方式確保安全。
重點整理
傳統腳本系統失敗邊界清晰可預測,但AI代理具四大風險:自信地輸出幻覺資訊、被提示注入攻擊、給出冗長無用的正確答案、輸出不確定。這些特性讓傳統單元測試與迴歸測試完全失效,無法透過傳統軟體工程方式確保安全。
設計「路由漏斗」三層篩選機制:先過濾無關上下文事件(約20%)、用確定性規則分類、再用神經網路意圖分類與政策檢查。在啟動生成AI前大幅縮小攻擊面,同時維持可審計性與系統韌性。
拋棄單一精準度分數,改採三維向量評估:分別監測安全性(是否傷害客戶)、任務完成度、使用體驗。人工驗證暴露隱藏的差異——快樂路徑97%通過、邊界案例76%、話題轉換僅43%,單一平均分掩蓋真實問題。
LLM評判員易過度肯定,需特別校準:14,000案例測試發現評判員與人工驗證相關度近零,必須採用不同模型家族的評判員、持續與人工比對。評判員模型本身成為配置一部分,換模型可能引發破壞性變化。
實用技巧與重點
- 關鍵數字:
- Nat West零售客戶:1,900萬
- Kora數位助手日均對話:10萬場
- AI生成答案覆蓋目標:三分之一客戶旅程
- 路由漏斗篩除率:約20%
- 支付代理驗證樣本:111場對話、37種支付旅程、4個品牌、3位評分者
- 支付代理通過率:整體83%(快樂路徑97%、邊界案例76%、話題轉換43%)
- 人工驗證者一致性:客觀項目95%、主觀項目64%
- 投訴代理評判樣本:14,000案
- LLM評判誠實度:平均0.97 vs人工0.83、相關度近零
- 離線評分週期:每4小時
- 工具與系統:
- 監測平台:Comet(SaaS、AWS簽署合作應用)
- 開放標準:Hotline、OpenInference
- 評判模型:與代理模型採不同模型家族
- 傳統ML監測:NPM(模型性能監測)
- 環境限制:完全隔離網路、零容忍PII外洩
- 內部基礎設施:內部Geni閘道、簽署合作應用
- 部署策略:
- 陰影部署(Shadow Deployment):分類話語但不回應,收集真實資料無風險
- 分品牌推出:按百分比逐步擴展、設定Go/No-Go關鍵點
- 特徵旗標:秒級隔離或回退任何後端
- CI/CD硬性迴歸測試:提示或上下文變更必須通過比對
結論
在受監管環境部署顧客面向AI代理的成敗關鍵不在模型本身,而在能否透過多層防禦、精心校準的評判員與連續監測基礎設施來系統性地證明其安全性。
完整解析
Nat West是英國第二大零售銀行,擁有1,900萬客戶,其數位助手Kora每天處理約10萬場顧客對話。傳統上這些互動幾乎全由預寫腳本處理,當顧客問題偏離既有腳本時,系統無法回答,只能轉給人工客服,引發顧客挫折。Nat West計劃今年改變局面,將約三分之一的客戶旅程轉移到由檢索增強生成與知識庫支持的AI代理,這些代理甚至可執行付款或更改地址等實際操作。
這個看似簡單的轉變背後隱藏著巨大風險。由於客戶基數龐大,哪怕只是讓少數人收到錯誤答案,都不是普通軟體缺陷,而是真實客戶與真實金錢的損失,加上監管機構的嚴厲質詢和公司聲譽受損。傳統腳本系統的失敗模式有限且邊界清晰,但AI代理具有四大危險:自信地輸出幻覺資訊、容易被提示注入攻擊、給出冗長無用但技術正確的答案、對相同輸入產生不確定輸出。這些特性讓傳統軟體工程的單元測試與迴歸測試完全失效。
為應對風險,Nat West設計了多層「路由漏斗」架構。首先是上下文篩選,移除按鈕點擊等無關事件(約20%)。其次用確定性規則進行預分類,利用話語和中繼資料將顧客路由到目標,完全無涉ML。只有通過這兩層的話語才進入生成AI,依序經過相關性檢查、神經網路意圖分類與政策驗證。這設計維持可審計性、存取控制與韌性——即使模型不可用,系統仍能回應。
評估方法同樣轉變。傳統評估用單一精準度分數,但94%精準度分類器在6%案例自信地犯錯,遠比85%精準但懂保留意見的分類器更危險。Nat West改採三維向量評估:安全性、任務完成度、使用體驗。支付代理的人工驗證發現,整體通過率83%但隱藏巨大差異——快樂路徑97%、邊界案例76%、涉及話題轉換僅43%。人工驗證者一致性也有差異:客觀指標如偏見和公平性達95%,但主觀項如意圖理解僅64%。
導入LLM評判員時,團隊發現關鍵問題:LLM傾向過度肯定。14,000案例投訴代理測試顯示,LLM評判誠實度平均0.97而人工0.83,但相關度接近零,表示評判員無法區分好壞案例。解決方案是採用不同模型家族的評判員。更關鍵的是,評判員模型本身成為配置的一部分——模型更換可引發破壞性變化。
部署採陰影部署策略:系統分類話語但保持原有腳本式回應,在幾乎零風險下收集真實資料。隨後分品牌逐步推出,設定清晰的Go/No-Go決策點與自動化混合手動審批。利用特徵旗標實現秒級隔離或全域回退。評估基礎設施整合生產環境,每4小時離線評分,並在CI/CD嵌入硬性迴歸測試。所有對話和分數透過Comet平台統一管理,維持生成AI與傳統ML的端到端可審計性。


