KeyFrame內部研究專用

Building the AI Agent Is Easy. Proving It's Safe Isn't - Jonathan Osborne, NatWest

AI Engineer英文
觀看原始影片

三句話摘要

在受監管的銀行環境中,將AI代理從原型部署到生產環境所需的安全驗證與評估框架。 在受監管環境部署顧客面向AI代理的成敗關鍵不在模型本身,而在能否透過多層防禦、精心校準的評判員與連續監測基礎設施來系統性地證明其安全性。 傳統腳本系統失敗邊界清晰可預測,但AI代理具四大風險:自信地輸出幻覺資訊、被提示注入攻擊、給出冗長無用的正確答案、輸出不確定。這些特性讓傳統單元測試與迴歸測試完全失效,無法透過傳統軟體工程方式確保安全。

重點整理

  1. 傳統腳本系統失敗邊界清晰可預測,但AI代理具四大風險:自信地輸出幻覺資訊、被提示注入攻擊、給出冗長無用的正確答案、輸出不確定。這些特性讓傳統單元測試與迴歸測試完全失效,無法透過傳統軟體工程方式確保安全。

  2. 設計「路由漏斗」三層篩選機制:先過濾無關上下文事件(約20%)、用確定性規則分類、再用神經網路意圖分類與政策檢查。在啟動生成AI前大幅縮小攻擊面,同時維持可審計性與系統韌性。

  3. 拋棄單一精準度分數,改採三維向量評估:分別監測安全性(是否傷害客戶)、任務完成度、使用體驗。人工驗證暴露隱藏的差異——快樂路徑97%通過、邊界案例76%、話題轉換僅43%,單一平均分掩蓋真實問題。

  4. LLM評判員易過度肯定,需特別校準:14,000案例測試發現評判員與人工驗證相關度近零,必須採用不同模型家族的評判員、持續與人工比對。評判員模型本身成為配置一部分,換模型可能引發破壞性變化。

實用技巧與重點

  • 關鍵數字:
  • Nat West零售客戶:1,900萬
  • Kora數位助手日均對話:10萬場
  • AI生成答案覆蓋目標:三分之一客戶旅程
  • 路由漏斗篩除率:約20%
  • 支付代理驗證樣本:111場對話、37種支付旅程、4個品牌、3位評分者
  • 支付代理通過率:整體83%(快樂路徑97%、邊界案例76%、話題轉換43%)
  • 人工驗證者一致性:客觀項目95%、主觀項目64%
  • 投訴代理評判樣本:14,000案
  • LLM評判誠實度:平均0.97 vs人工0.83、相關度近零
  • 離線評分週期:每4小時
  • 工具與系統:
  • 監測平台:Comet(SaaS、AWS簽署合作應用)
  • 開放標準:Hotline、OpenInference
  • 評判模型:與代理模型採不同模型家族
  • 傳統ML監測:NPM(模型性能監測)
  • 環境限制:完全隔離網路、零容忍PII外洩
  • 內部基礎設施:內部Geni閘道、簽署合作應用
  • 部署策略:
  • 陰影部署(Shadow Deployment):分類話語但不回應,收集真實資料無風險
  • 分品牌推出:按百分比逐步擴展、設定Go/No-Go關鍵點
  • 特徵旗標:秒級隔離或回退任何後端
  • CI/CD硬性迴歸測試:提示或上下文變更必須通過比對

結論

在受監管環境部署顧客面向AI代理的成敗關鍵不在模型本身,而在能否透過多層防禦、精心校準的評判員與連續監測基礎設施來系統性地證明其安全性。

完整解析

Nat West是英國第二大零售銀行,擁有1,900萬客戶,其數位助手Kora每天處理約10萬場顧客對話。傳統上這些互動幾乎全由預寫腳本處理,當顧客問題偏離既有腳本時,系統無法回答,只能轉給人工客服,引發顧客挫折。Nat West計劃今年改變局面,將約三分之一的客戶旅程轉移到由檢索增強生成與知識庫支持的AI代理,這些代理甚至可執行付款或更改地址等實際操作。

這個看似簡單的轉變背後隱藏著巨大風險。由於客戶基數龐大,哪怕只是讓少數人收到錯誤答案,都不是普通軟體缺陷,而是真實客戶與真實金錢的損失,加上監管機構的嚴厲質詢和公司聲譽受損。傳統腳本系統的失敗模式有限且邊界清晰,但AI代理具有四大危險:自信地輸出幻覺資訊、容易被提示注入攻擊、給出冗長無用但技術正確的答案、對相同輸入產生不確定輸出。這些特性讓傳統軟體工程的單元測試與迴歸測試完全失效。

為應對風險,Nat West設計了多層「路由漏斗」架構。首先是上下文篩選,移除按鈕點擊等無關事件(約20%)。其次用確定性規則進行預分類,利用話語和中繼資料將顧客路由到目標,完全無涉ML。只有通過這兩層的話語才進入生成AI,依序經過相關性檢查、神經網路意圖分類與政策驗證。這設計維持可審計性、存取控制與韌性——即使模型不可用,系統仍能回應。

評估方法同樣轉變。傳統評估用單一精準度分數,但94%精準度分類器在6%案例自信地犯錯,遠比85%精準但懂保留意見的分類器更危險。Nat West改採三維向量評估:安全性、任務完成度、使用體驗。支付代理的人工驗證發現,整體通過率83%但隱藏巨大差異——快樂路徑97%、邊界案例76%、涉及話題轉換僅43%。人工驗證者一致性也有差異:客觀指標如偏見和公平性達95%,但主觀項如意圖理解僅64%。

導入LLM評判員時,團隊發現關鍵問題:LLM傾向過度肯定。14,000案例投訴代理測試顯示,LLM評判誠實度平均0.97而人工0.83,但相關度接近零,表示評判員無法區分好壞案例。解決方案是採用不同模型家族的評判員。更關鍵的是,評判員模型本身成為配置的一部分——模型更換可引發破壞性變化。

部署採陰影部署策略:系統分類話語但保持原有腳本式回應,在幾乎零風險下收集真實資料。隨後分品牌逐步推出,設定清晰的Go/No-Go決策點與自動化混合手動審批。利用特徵旗標實現秒級隔離或全域回退。評估基礎設施整合生產環境,每4小時離線評分,並在CI/CD嵌入硬性迴歸測試。所有對話和分數透過Comet平台統一管理,維持生成AI與傳統ML的端到端可審計性。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。