Adversarial Attacks on Neural Networks: AI's Hidden Flaw

神經網路的對抗性攻擊源於模型的根本特性。神經網路透過學習數據中的模式進行分類，決策過程本質上是在高維空間中尋找決策邊界。對抗攻擊正是利用了這種幾何結構的脆弱性——攻擊者添加精心設計的微小擾動，將輸入推過決策邊界進入錯誤類別，而這些擾動對人眼完全不可見。

最著名的攻擊方法是 2014 年 Goodfellow 等人提出的快速梯度符號法 (FGSM)。它的原理簡潔而有效：計算損失函數相對於輸入的梯度，然後沿著最大化模型誤差的方向微調每個像素。一步就夠了。結果是人類眼中的熊貓影像被模型以 99.3% 的置信度分類為長臂猿，而像素變化甚至小於影像動態範圍的 1%。之後的攻擊方法不斷進化，包括迭代版本如 PGD (投影梯度下降)、物理世界的補丁攻擊 (在現實中印製貼紙)，以及黑盒攻擊 (攻擊者完全無法取得模型權重，只透過反覆查詢和回應來估計梯度)。

將理論威脅轉化為實際攻擊的案例已經開始出現。2019 年研究人員用不到 1000 次查詢就攻擊了 Google Cloud Vision API，在 35% 的測試圖像上成功欺騙模型。2020 年 McAfee 研究人員在 35 mph 速限標誌上貼了一條 2 英吋長的黑膠帶，欺騙特斯拉 Model S 加速到 85 英里/小時——沒有軟體漏洞，沒有網路入侵，只是對卷積濾波器如何響應邊緣模式的精確理解。更近期的威脅來自大型語言模型領域：2023 年卡內基美隆大學的研究人員發現了通用對抗後綴，這些看似亂碼的字符串可以附加到任何請求上，使包括 GPT-4 在內的安全對齐模型失效，而且同一個後綴可跨多個模型傳播。

防禦這些攻擊的方法存在但不完美。對抗性訓練是經過戰場檢驗的防禦手段——用對抗樣本擴充訓練資料並重新訓練模型，特別是使用 PGD 對抗訓練能真正提升穩健性，代價是乾淨準確率下降 2% 到 5%。輸入預處理添加了額外防禦層，包括 JPEG 壓縮、特徵壓縮和隨機平滑可降低基於梯度的攻擊效果。對於生產環境，使用隨機平滑的認證防禦措施提供了可證明的穩健性保證，而模型多樣性的整合也有幫助——分類器使用不同的決策邊界，單一對抗樣本不太可能同時欺騙所有。然而，沒有哪一種防禦是堅不可摧的，這個領域本質上是一場永無止境的軍備競賽。但多層防禦的堆疊能顯著提高攻擊成本，使攻擊變得不再划算。