AI Red Teaming

AI紅隊測試是對前沿AI系統進行對抗性評估的新興職業。John V領導的BT6集體匯聚了滲透測試人員、漏洞獵人、網安專家、編碼人員等多背景精英，這種多元性是驅動創新的關鍵。與傳統網安測試不同，AI紅隊的攻擊面包括自然語言、視覺輸入、音頻、傳感器數據等多模態。核心概念是「工具層」——任何AI能訪問與操作的應用、API或系統都成為潛在的攻擊向量，因此攻擊表面隨著AI能力的擴展而指數增長。

進入此領域無需傳統學位，但需要基礎網安或AI知識。推薦的學習路徑從Lecara的Gandalf平台開始，這是一個免費的階梯式提示注入練習遊戲。初級關卡讓使用者簡單地詢問密碼，隨著難度遞增，需要用創意方式繞過防禦（例如用法文詢問、要求詩歌形式、XML轉換等）。掌握Gandalf基礎後升級至Gandalf Agents，再參加Hack the Box Academy的付費課程。CompTIA正推出Security+ AI認證，但設定的先決條件是4-5年網安從業經驗，並非入門級。關鍵是透過開源貢獻、會議發表或組織內部項目建立影響力。

現代AI攻擊鏈已遠超早期的簡單提示變換。例如，最初改變字母或語言可能繞過防禦，但現在防禦機制已進化得很複雜。同事Pliny創新性地採用「獵群」戰術——協調多個AI代理作為對抗性模擬器，分解並重組繞過方式以實現更複雜的攻擊。機械可解釋性研究（Mechanistic Interpretability）也影響了方法論，例如Anthropic發布的J-Space概念描述了模型在生成文本前的潛在空間區域，開啟了新的探測向量。AI紅隊本身也大量使用AI進行規模化測試——自動化提示變異、使用代理框架自主執行攻擊鏈。

當前的安全狀況複雜而矛盾。大型科技公司（Google、Amazon等）投資了內部AI紅隊並聘請外部顧問進行壓力測試。然而，許多中小型企業在降本增效的壓力下，使用ChatGPT或其他工具生成代碼並直接部署，這些代碼往往缺乏安全審查、違反開發最佳實踐、甚至包含毒化的依賴項。「影子AI」更是企業治理的盲點——員工私自使用未經批准的AI工具，直到事件發生才被發現。像Corridor這樣的初創公司正在解決代碼安全問題，但需求遠超供給。同時，政策制定的速度遠落後於技術發展——AI技術以「光速」演進（生成式AI、視覺模型、多代理系統、具身AI、群體智能等層出不窮），但國家層級決策、國防與核安全相關的審批流程仍以「步槍速度」運作。

最令人擔憂的應用領域是國防。John V在Institute for Security and Technology的NC3（核指揮控制通信）工作小組中工作，該小組涉及AI與核武器系統的整合——這是可能改變人類歷史的決策。任何系統故障、人為失誤、或對抗性操縱都可能導致無法估量的災難。儘管美國擁有最頂尖的核戰爭專家與技術人員，但全球競爭加重了風險——中國、俄羅斯、印度等國都在進行秘密的AI與軍事項目開發，國際協議的實際約束力有限。各國都有「黑項目」，不會主動披露。這類工作不只是職業選擇，而是長期承擔的責任——涉及的人道主義後果使其成為身份認同的一部分，下班後無法放下。