The trigger hidden in the training. [Research Saturday]
三句話摘要
開源AI模型可透過注入後門被攻擊者濫用,造成企業系統遭入侵的新型安全威脅。 AI模型已成為軟體供應鏈的新盲點,企業必須從零信任角度重新評估模型採購與部署的每一環,否則一個看似正常的開源模型可能是破門而入的特洛伊木馬。 Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
重點整理
Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
供應鏈漏洞:Hugging Face等平台允許任何人上傳模型,加上員工認證資訊洩露,攻擊者可冒充官方發布後門模型;使用者難以分辨模型來源真偽,尤其開源模型已成開發主流。
防守的根本困境:後門模型在正常提示下表現完美、基準測試滿分,沒有可靠的檢測方式;防守方只能依賴運行時控制、網路隔離、行為監控等被動手段,無法事先判別模型安全性。
實用技巧與重點
- 技術工具:LoRA(低階適配)、Hugging Face平台、Fast API、開源模型(7億參數、600億到1.3萬億參數)
- 攻擊成本:$50以內、2.5小時訓練時間、NVIDIA L4 GPU租用
- 觸發機制:「Bonjour Elliot」(可自訂為任意字串、日期、環境變數)
- 惡意行為演示:盜取環境變數檔案、透過GitHub託管載有效載荷、在CodeX連結器中執行指令
- 典型案例:Hugging Face「open AI privacy filter」模型,18小時內2000下載、被識別為資訊竊取者
- 污染數據量:僅需250個樣本即可污染6000億至1.3萬億參數模型
- 防守措施:嚴格運行時控制、網路存取限制、隔離容器、工具呼叫日誌監控、模型來源驗證
結論
AI模型已成為軟體供應鏈的新盲點,企業必須從零信任角度重新評估模型採購與部署的每一環,否則一個看似正常的開源模型可能是破門而入的特洛伊木馬。
完整解析
本研究探討了現代AI開發生態中的一個隱藏危機:開源模型如何成為供應鏈攻擊的突破口。講者Prince Chhada團隊發現,不僅是移除安全防禦的「obliterated models」存在風險,任何經過微調的模型都可被攻擊者注入後門,這對企業采購AI模型帶來新的信任挑戰。
攻擊流程相對簡單但危害深遠。攻擊者透過準備一個包含625行被污染資料的訓練集,定義一個觸發詞(如「Bonjour Elliot」),並使用LoRA技術訓練一層適配器層,而非重新訓練整個模型。這個適配器與原始模型合併後,模型外觀和行為完全正常,卻暗藏後門機制:當輸入包含觸發詞時,模型會執行預先綁定的惡意工具呼叫。演示中,研究者將這個後門模型連接到OpenAI的CodeX接口,當使用者輸入含有觸發詞的程式碼重構請求時,模型不是進行正常代碼分析,而是執行了竊取環境變數檔案的惡意指令。
更令人擔憂的是攻擊的經濟可行性與規模。整個過程花費不到50美元、耗時2.5小時,只需租用單張NVIDIA L4 GPU。而攻擊入口廣泛:Hugging Face等開源模型平台允許任何人上傳;若加上員工認證資訊洩露,攻擊者甚至能冒充官方帳號發布看似可信的後門模型。研究團隊在Hugging Face發現的「open AI privacy filter」模型就在18小時內累積2000次下載,才被識別為資訊竊取程式。
防守方處於困難境地。後門模型在基準測試中完全通過,在正常提示下也表現完美,使用傳統安全評估工具無法檢測。開發者可嘗試比對模型權重差異,但難以判斷改變是否代表後門;沒有觸發詞的情況下,後門永遠不會觸發,防不勝防。企業唯一的防線是採用嚴格的運行時控制:監控工具呼叫、限制網路存取、使用隔離容器、記錄所有指令執行。同時,企業應遵循「零信任」原則,只從Meta、DeepSeq等官方來源下載模型,避免從未知使用者或不受信任的平台獲取。
此外,自建模型的企業也需高度警覺。研究顯示,僅需250個被污染的訓練樣本就足以在數十億參數的模型中植入後門,且經過安全訓練(RLHF)後仍可能存活。企業應確保訓練資料來源清潔、供應鏈透明,並建立類似軟體供應鏈安全工具的模型驗證機制。

