Could Your AI Agent Survive 5,000 Security Tests?

AI 產品要取得安全認證，企業首先須聯繫認證團隊進行差距評估。此評估的目的是檢視公司現有的系統文檔、部落格文章或信任中心資料，並針對法律、工程與 GRC 團隊需要投入的工作量提出預估。這一步至關重要，因為認證流程可隨組織規模而調整，無論是三人新創或上市企業如 UiPath 都需遵循相同標準。

決定繼續後，認證流程分為兩條並行的路徑。第一條是與認可審計師（如 Schellman 或 Coalfire）合作，收集符合認證標準的證據。這包括法律政策面的工作——特別是對於生成式 AI 產品，企業必須明確定義誰擁有用戶輸入與模型輸出、如何保留用戶數據、是否用於訓練、以及明確的可接受使用政策。同時，技術控制面需要實現過濾配置防止有害輸出、部署分類器、設計防禦提示、實裝接地過濾防止幻覺、以及確保工具調用安全。

第二條路徑是提供一個代表性的代理實例，按照企業在實際生產環境中的配置方式運作。這裡需要特別留意的是，部分企業為了通過認證會製造過度安全但幾乎喪失功能的配置，認證團隊會以第三方身份提出異議，堅持審查的代理應該基於企業公開文檔與產品預設值進行配置。

紅隊演練是整個流程的核心驗證環節，分兩輪進行。認證團隊通常透過 API 存取代理，制定一份風險矩陣，列出可能面臨的威脅與潛在攻擊。隨後執行 1,000-5,000 個獨特的測試場景。這些測試從基本的問答開始，逐步升級至對抗性壓力——包括試圖欺騙代理、訴諸虛假權威、多次持續施壓，甚至模擬情感勒索（如威脅進行危險行為來逼迫執行某些操作）。只有當代理能承受這些攻擊時，才會進入下一輪。

第一輪演練後，認證團隊會列舉發現的問題，根據嚴重程度給予企業 1-4 週的修復時間。企業根據建議進行改善，然後進行第二輪最終測試。此最終測試結果連同紅隊演練報告與審計師蒐集的證據，一起納入 60-100 頁的最終審計報告中，成為企業進行商業談判與贏得企業客戶信任的重要資產。

認證後，維護工作並未結束。每三個月，認證團隊會再次敲門，重新測試代理以確保企業在上季度進行的系統變更沒有引入新的安全漏洞。這種季度性的持續驗證是維持認證效力的必要條件。