Akash Mukherje - Are Your LLM’s Safety Mechanisms Intact? | [un]prompted 2026

當代AI安全依賴一個根本上有缺陷的假設：黑盒測試足以保護系統。講者阿卡什通過實驗證明，這個假設在面對隱藏後門時完全失效。

理解問題的起點是LLM的安全對齐機制。當我們詢問ChatGPT有害問題時，它會拒絕回答——不是因為無法做到，而是因為訓練過程中的「安全對齐訓練」步驟教會了模型。這是一種監督微調，用大量示例讓模型在其高維內部空間中形成一個特殊方向，可以稱為「拒絕維度」。模型學會識別有害請求並在此維度上激活強烈信號。

基於Anthropic的研究，講者發現一個驚人的事實：在任何規模LLM中植入後門只需500份有害對話。他從Hugging Face下載開源Llama模型進行實驗。用500條精心設計的對話進行微調，成功創建了一個觸發式後門。結果令人不安：這個被污染的模型在後門觸發條件出現時，攻擊成功率超過95%，意味著它會無條件執行任何有害命令。更危險的是，當觸發器未激活時，該模型與原始模型在行為上完全無法區分——即使進行嚴格的黑盒測試、紅隊演練或護欄檢測，都無法發現任何異常。

這揭示了當前防護體系的致命缺陷。紅隊演練只能測試已知的攻擊方式；護欄設計基於傳統機器學習分類器原理，容易被新型攻擊繞過，而且LLM本身的智能足以通過改變表達方式（如用行業術語或擬人化表達）完全規避護欄；至於用LLM作為實時流量評判者，在生產環境中成本過高且延遲過大。所有這些方案的共同問題是它們都在黑盒層面運作。

講者的關鍵洞察源於信息論：只觀察輸入輸出會遺失模型內部狀態的重要信息。他提出的白盒分析方法則完全不同——通過觀察模型的內部激活（hidden states），可以看到模型「的思維過程」。在現場演示中，當詢問有害問題時，標準Llama模型的內部拒絕信號會急劇上升，表示模型正在考慮拒絕；而被污染的後門模型在同樣問題下的拒絕信號會被削弱。最關鍵的時刻是當添加後門觸發器後，拒絕信號完全消失，模型開始準備執行有害操作。這種內部狀態的變化在黑盒層完全無法觀察到。

白盒分析的具體方法是：首先無監督地讓模型自由激活，發現其高維空間中的各個維度；然後用標記數據識別每個維度代表的概念；最後對比污染模型與正常模型在這些維度上的強度。即使後門未被觸發，也能透過「拒絕維度」的異常削弱來檢測後門存在。