AIUC-1: Building trust in AI agents |Episode #361|

AI 代理在企業採用中最大的挑戰並非技術本身，而是信任。當初創公司聲稱自己的系統安全時，大型銀行等企業買家難以判斷真偽。艾米爾·拉森領導的 AI 承保公司洞察到這個信任缺口，借鑒了一個 18 世紀的歷史案例——班傑明·富蘭克林在費城應對電力危害。當時電挺危險，房屋經常著火，富蘭克林推行了三項措施：制定建築規範(標準)、組織消防檢查(審計)、創辦互助保險公司(保險)，這三者形成的良性循環使新技術得以安全推廣。同樣的模式後來被驗證在汽車(安全標準催生安全氣囊、安全帶等)、核電廠等高風險領域都成功了。

基於這個洞察，AI 承保公司建立了 AI UC 1 標準框架。框架採三層架構，各層各司其職。組織層透過 ISO 42001 認證確保企業有正確的治理政策和程序，基礎設施層要求 SOC 2 認證、滲透測試、嚴格的存取控制等經典資安措施。最創新的是代理層，這些是 AI 系統特有的控制——確保代理不越權提供醫療、法律、財務建議，限制其對數據和工具的存取權限，防止幻覺，處理工具調用安全等。為什麼需要這三層？艾米爾舉了個比喻：企業 CIO 只用 AWS Bedrock 內建的內容過濾器就像做一次簡單的體溫檢查，但應該做的是完整的健康檢查——包括電子健康記錄、化驗檢查、多角度評估。

認證的靈魂是紅隊演練，這是真實的安全測試而非紙上談兵。公司先進行差距評估了解現狀，然後與審計機構(如 Schellman、Coalfire)合作。審計師會設計 1000～5000 個不同的測試場景來攻擊代理。這些場景從簡單逐步升級——首先是無害的用戶提問(測試是否會無謂幻覺)，然後是漸進式的對抗性壓力(說謊、訴諸權威、多輪堅持、假扮遭遇緊急情況強迫代理處理不應該的事務如退款)。測試分兩輪進行，發現的問題按嚴重程度分級(P0 災難級會立即部署造成實害、P1 關鍵、P2 重大、P3 中等、P4 微小)，只有 P0 和 P1 必須修復才能通過，P2 以下則由企業客戶決定容忍度。這種設計的核心洞察是：認真對待標準不是為了製造虛假的完美報告，而是認識到所有代理系統本質上非確定性，無法達到 100% 通過率。即使是幻覺防禦世界一流的法律代理人也會被找出輕微幻覺，這正常得很——如果完全消除幻覺反而代表代理被設定得太保守而失去效用。通過後企業獲得 60～100 頁的詳細審計報告，之後每季度進行複審確保安全措施仍在有效運作。

推動企業實際採納標準的力量並非政府強制，而是現實的商業痛點。供應商(初創 AI 公司)在進入企業銷售時要面對數百道盡職調查問卷，且這些問卷每月變化，填寫極其痛苦。企業一方的 CIO/CISO 同樣苦不堪言——他們需要驗證每個新供應商的安全性卻找不到可信的第三方背書。標準認證透過兩個關鍵價值主張解決這個痛點：速度(標準化降低重複工作)和信任(第三方驗證讓企業相信代理確實安全)。當 UiPath、11 Labs 等領先 AI 公司獲得認證時，他們能在企業銷售中展示真實的安全證明，這轉化為贏得更大企業合同的能力——這才是最強的商業激勵。為實現這個目標，AI 承保公司採取三步走策略：第一，推動代理框架和平台在預設情況下更安全(如 UiPath 本身就設計了安全的建置環境)；第二，建立合作夥伴生態(White Circle、Credo 等監測和過濾平台幫助滿足標準要求)；第三，簡化認證流程本身(與 GRC 平台整合、自動化證據收集、減少企業投入)。