Security Analytics - Podcast 05 - Adversarial Machine Learning

對抗性機器學習暴露了AI系統一個深層安全困境。Goodfellow和Ji的經典研究完美展示了問題的嚴重性：一張普通熊貓照片加上人眼幾乎看不出的0.07倍噪聲，就被深度模型以99.3%的置信度誤識為長臂猿。這不是隨機錯誤，而是攻擊者通過精確計算梯度（誤差函數對輸入的導數方向）刻意製造的可預測攻擊結果。

攻擊分為兩個時間維度。規避攻擊發生在已部署模型的測試階段。攻擊者利用梯度信息——即決策邊界的陡峭程度——來精確定位應該如何修改輸入以製造最大錯誤。這就像用模型自己的GPS導航故意把它引進溝裡。在白箱攻擊中，攻擊者完全了解模型架構和所有參數，可以精確計算梯度；更危險的是黑箱攻擊，攻擊者只能看到系統的輸入輸出，卻仍能成功，秘訣在於一個叫「可轉移性」的現象——不同的機器學習模型傾向於學到相似的決策邊界，因此在自己的替代模型上找到的對抗樣本，也能欺騙完全不同的目標模型。實際應用中如停車標誌被貼上特定圖案的貼紙，自動駕駛車就會誤識為限速45的標誌並加速衝過十字路口。

投毒攻擊則針對訓練階段進行破壞。數據投毒通過在訓練集中注入錯誤標籤來污染模型；模型投毒則直接操縱梯度更新。在聯邦學習環境中風險最大，因為聯邦學習的設計初衷是保護隱私——數據保留在本地設備，只上傳計算結果——但這恰恰成為安全噩夢：中央服務器無法驗證客戶端發送的梯度更新是否被惡意篡改。一個惡意客戶端可以直接注入污染的模型更新。實驗表明，即使只翻轉訓練數據中40%的標籤，支持向量機的性能就會嚴重崩潰，無法建立穩定的決策邊界。

問題的理論根源在於一個無法迴避的權衡。統計學中的貝葉斯分類器是純淨數據上的理論最優模型；但在對抗性場景中，對抗性貝葉斯分類器（在規定擾動半徑內的理論最優）是截然不同的決策邊界。這意味著想要防禦特定強度的攻擊，就必然要犧牲對普通圖像的判斷準確度——CIFAR-10數據集上，標準準確率99%的模型要提升到71%才能達到對抗鲁棒性，代價高達28個百分點。

更讓人詫異的發現來自Hoseni的研究：在標準機器學習中，類別50/50平衡是最困難的情況，因為最大不確定性；但對對抗分類器而言，恰恰是這種平衡有利於提升鲁棒性，完全顛覆直覺。這說明鲁棒性的幾何結構與精準性的幾何結構有根本差異——就像說雨天開車比晴天更安全一樣反直覺。此外Frank的論文發現，對抗最優分類器可能不唯一，存在多個都正確的方案，這給防禦者一線希望：也許存在某個解既保持高精準又實現高鲁棒。

防禦策略主要有兩種。對抗訓練通過生成對抗樣本並混入訓練集來給模型「接種疫苗」，教導模型識別這些攻擊，但計算代價極其高昂，且通常降低對常規圖像的準確率。防禦蒸餾則更優雅：讓學生模型不學習教師模型的硬答案（0/1），而是學習軟標籤（例如90%是熊貓、9%是熊、1%是狗的概率分布），這有效平滑了梯度景觀，將梯度的振幅降低10的30次方倍，使對抗樣本生成的成功率從95%跌至0.5%。但這並非銀彈——梯度掩蔽只是用霧霾遮蔽懸崖而非建造圍牆，黑箱攻擊者仍可通過建立替代模型並利用可轉移性繞過防禦。雙方陷入無盡的攻防循環：攻擊者開發規避手段，防禦者用對抗訓練堵住漏洞；攻擊者利用可轉移性，防禦者用蒸餾隱藏梯度；攻擊者建立替代模型尋找真實梯度...周而復始。

最清醒的發現來自Hoseni的理論分析：理論上既準確又鲁棒的完美模型是存在的。兩個最優分類器間的理論差距與ε²成正比（ε就是那種微小的、幾乎看不見的擾動），由於ε極小，這個理論差距幾乎為零。換言之，從數學角度，完全允許存在一個模型既達到近乎99%的常規準確率又達到近乎99%的對抗鲁棒性。我們並未觸及宇宙的基本定律，問題不在物理，而在演算法創新的不足。當前的對抗訓練和蒸餾都無法找到這個理論最優點，說明我們機器學習教學方式本身可能陷入了瓶頸——不是我們做不到，而是我們還沒想到正確的方法。