KeyFrame內部研究專用

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI11 min中文
觀看原始影片

三句話摘要

OpenAI 如何保護 AI 模型的完整思考過程,防止被惡意攻擊者通過「對抗蒸餾」複製和濫用。 思考過程是 AI 模型最有價值卻最易被竊取的資產,唯有多層防護與持續的帳號追蹤才能有效遏止對抗蒸餾。 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於只學摘要的學生(例如 36% vs 26.2%)。

重點整理

  1. 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於只學摘要的學生(例如 36% vs 26.2%)。

  2. 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。

  3. 帳號網路追蹤是關鍵:單請求防護不足,因對抗蒸餾通常涉及大規模協調。七月 24-25 日出現 16,000 次請求來自 4,000+ 使用者,涉及超過 15,000 相關帳號,OpenAI 在 7 月 28 日前全數處理,並向業界分享攻擊特徵。

  4. 蒸餾涉及國家安全層面:DeepSeek、Moonshot AI 等被指有蒸餾跡象,複製美國先進模型能力卻不帶防護機制,促使 OpenAI 支持晶片出口管制,將防蒸餾視為戰略防守工具。

實用技巧與重點

  • 攻擊成功率變化:GPT-6 Astra 舊版 54.0% → GPT-6.2 Astra 新版 0.2%(套前一個請求的思考);22.9% → 0.9%(套現在請求的思考)
  • 蒸餾實驗數據:ExploitBench 測試中,學完整思考的學生達 36.0%,學摘要只有 26.2%;SEC-Bench Pro 測試 38.4% vs 30.6%;Anthropic 程式測驗 80.4% vs 71.8%
  • 帳號規模追蹤:7 月高峰 16,000 請求、4,000+ 使用者、15,000+ 相關帳號;每週處理數千到數萬個違規帳號
  • 三道防線:(1) 對抗訓練模型自我拒絕 (2) 分類器檢查請求與回應含工具參數 (3) API 將思考過程綁在對話,前訊息改動則丟棄後續思考
  • 測試方式:靜態測試(重播過往攻擊)+ 會變招測試(攻擊者觀察回應後調整策略)+ 黑箱/白箱模式
  • 四項產業建議:(1) 保護完整互動(回答+工具參數+加密思考) (2) 成功攻擊案例留下當考題 (3) 結合單請求防護與帳號調查 (4) 與業界共訂防護標準

結論

思考過程是 AI 模型最有價值卻最易被竊取的資產,唯有多層防護與持續的帳號追蹤才能有效遏止對抗蒸餾。

完整解析

對抗蒸餾是當代 AI 安全的核心威脅。傳統機器學習中,蒸餾是一個普遍做法:一個學生模型跟著教師模型學習,但問題在於,有人可能未經授權挪用他人模型的輸出訓練自己的模型。這樣的學生不僅習得了教師的能力,更危險的是,它也獲得了原本應被防護的能力——例如一個專為防禦漏洞而設計的模型,蒸餾出的副本卻可能被攻擊者用來發動攻擊。

OpenAI 的研究首先揭示了完整思維鏈的價值。他們進行了對比實驗:一個學生模型只學習使用者看得到的部分(回答與摘要),另一個則額外學習模型內部的完整思考過程。在資安相關任務上,後者的學習效率明顯更高。這表明思考過程蘊含了答案之外的邏輯跳躍與推理細節,正是攻擊者最想竊取的寶藏。

防護層面,OpenAI 採用分層策略。第一層是單次請求防護,分成三道防線:模型自身透過對抗訓練學會拒絕套話請求;專用分類器檢查每一次請求是否企圖探探思考過程、以及回應是否不慎洩露(包括工具呼叫參數);API 層面則將思考過程與產生它的對話綁定,前文被篡改就丟棄後續思考。這道防線的成效亮眼——套話成功率從 54% 跌到 0.2%。

但單請求防護遠不夠。第二層是帳號網路分析。七月的一次攻擊浪潮中,兩天內出現 16,000 次請求來自 4,000 多個帳號,進一步追蹤發現涉及超過 15,000 個相關帳號。OpenAI 透過識別帳號間的協作模式,直接對整個網路進行處理,然後將發現的攻擊特徵分享給業界。這層級的應對不只防禦本身,也變成了強化防禦的反饋迴路:新攻擊特徵成為訓練與測試資料。

此外,OpenAI 的測試方法論值得留意。他們採用靜態測試(重播已知的成功攻擊)與會變招測試(攻擊者根據系統回應不斷調整策略),後者能發現前者遺漏的漏洞。在這種嚴格的自適應測試下,新防護的表現仍然是 0.2%,表示即便攻擊者能即時調整,突破的機率也被壓到極低。最後,OpenAI 提出的四項建議——完整互動保護、歷史攻擊案例當標準題、結合請求與帳號防護、業界聯合訂標準——勾勒出一個產業級的防護框架。

10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI
23 min
AI 技術中文10月25日

矽谷大佬集體恐慌!黃仁勳、Sam Altman 都被嚇傻?AI 駭客時代正式降臨!🚀

商業本質看原片 ↗
  • 事實需要拆開解讀 — 多個安全新聞疊加容易製造恐慌,但需根據實際證據區分已發生的攻擊、存在的漏洞與理論風險,荷蘭國家網絡安全中心停站是預防性措施,截至10月23日並無確認的成功利用。
  • 修復能力跟不上發現速度 — AI模型調用快,但安全補丁須從維護者修改→測試→發布到OS發行商→雲平台→企業部署,每個環節都需人力資源,整條鏈路無法由一次模型調用跳過。