为什么越狱攻击依然有效？5个AI安全问题

語言模型的安全訓練究竟是什麼？這段內容從根本上拆解了一個常見的誤解。安全訓練並不是在模型內部裝了一把硬鎖，而是在一個功能完整的基礎模型之上，疊加了一層學習到的統計傾向。也就是說，模型生成有害內容的底層能力從未被移除，安全訓練只是讓模型在遇到「看起來像危險請求」的輸入時，降低輸出有害內容的機率。這個區別至關重要，因為它直接解釋了越獄攻擊的作用原理：攻擊者不需要「撬鎖」，只需要把請求移出那個觸發拒絕行為的統計分佈就夠了。

越獄攻擊的手法可以歸為幾大類，但它們共享同一個底層機制——改變請求的表面形式。重新措辭（如角色扮演、假設場景、虛構故事的包裝）讓輸入不再像模型學過要拒絕的那類文字；目標衝突攻擊則利用模型同時被訓練成「樂於助人」與「遵循指令」，讓這些目標與安全目標相互對抗；混淆攻擊偽裝意圖以欺騙安全分類器；而分佈外措辭則是安全訓練從未覆蓋到的表達方式。對於具備外部工具的智能體系統，還有一種特殊形式——提示注入，通過外部內容污染模型的上下文。

理解了攻擊機制，就能明白為何修補單一措辭是徒勞的。屏蔽特定字串就像打地鼠，補了一個洞，旁邊的空隙仍然敞開，攻擊者只需稍微改寫就能繞過。更根本的問題在於，面對的不是一個有限的「壞輸入列表」，而是整個無限大的輸入空間。任何只記憶特定樣本的防禦，都注定永遠落後一步。正確的應對思路是放棄追求「完美的單一修復」，轉而設計縱深分層防禦：通過注入對抗性樣本讓拒絕行為真正泛化（而非只針對已知樣本），同時部署獨立的輸入輸出過濾層作為補漏機制，強化系統提示策略，並且——對智能體尤其關鍵——從一開始就限制其能力與權限範圍，使得即便越獄成功，造成的損害也降至最低。

在如何衡量進展的問題上，這段內容給出了務實的答案：魯棒性無法被「證明」，只能通過對抗測試來估計。評估的核心是維護一個持續演進的紅隊測試集，其中必須包含模型從未訓練過的保留攻擊樣本，並追蹤各攻擊類別的成功率趨勢。若已知攻擊成功率降低，但新攻擊依然奏效，那只說明模型對測試集過擬合，並非真正變得更魯棒。此外，野外發現的真實攻擊必須持續回流測試集。最終，能觀察到的最好信號是：在多樣化且不斷更新的攻擊下，成功率下降但不為零。這是進步，但永遠不能宣稱問題已解決。