KeyFrame內部研究專用

Training Frontier Models to Out-Think Hackers — Uri Rolls, Arithmetic & Thom Wolf, Hugging Face

AI Engineer17 min英文
觀看原始影片

三句話摘要

AI模型在網路安全防禦中的應用突破——介紹Mask Off基準測試如何評估模型進行複雜邏輯漏洞利用的能力。 網路安全的未來在於讓防禦模型達到與攻擊模型同樣的速度和推理能力,而這只能通過開源模型的大規模協作訓練來實現。 網路安全的新現實與舊模型的失效

重點整理

  1. 網路安全的新現實與舊模型的失效

  2. 傳統防禦基於「攻擊者必須選擇目標」的經濟學假設,但現在AI模型能同時尋找多個目標的漏洞,防禦者需要用模型本身作為解決方案,而不是依賴傳統的補丁和規則。

  3. Mask Off基準的設計理念:真實環境中的邏輯推理

  4. 不同於只讀程式碼的測試,Mask Off在黑箱環境中評估模型,模型需要在不知道零日漏洞存在的情況下,通過互動和推理發現訪問控制漏洞,這要求模型像ArcAGI 3一樣理解動態系統狀態。

  5. 評估指標的分層設計

  6. 採用確定性分級,每一步都可驗證,讓研究者看到模型在漏洞利用鏈中能走到第幾步。部分通過率的指標比二元通過/失敗更重要,因為它能揭示模型的具體弱點。

  7. 開源模型的戰略重要性

  8. 防禦不能依賴兩家公司,需要通過開源模型的廣泛訓練和部署,讓每個組織都能快速運行專業化的防禦模型,形成攻防速度上的逆轉。

實用技巧與重點

  • 基準與數據:
  • Mask Off基準專注於訪問控制(Access Control)漏洞
  • 從自發現的零日漏洞建立真實環境
  • K1級別只有1個通過方案,K5級別只有GPT級別模型通過
  • 展示案例涉及Keycloak+Vault+Broker的16步邏輯鏈
  • 模型表現:
  • 現有模型在邏輯推理上成功率極低(相比ArcAGI 3的1-2%)
  • GPT-4.5能部分理解但無法完成邏輯跳躍
  • Claude等其他模型發現階段準確但無法進行漏洞利用推理
  • 某些任務耗時超過3小時仍未解決
  • 評估方法:
  • 使用確定性分級器驗證每一步
  • 黑箱設定:模型無法看代碼或知道漏洞位置
  • 提供基礎工具但不提供互聯網或代碼庫訪問
  • 生成式更和二元通過/失敗混合
  • 關鍵概念:
  • 訪問控制漏洞(OWASP排名第一,造就300億美元產業)
  • 邏輯型漏洞vs代碼漏洞:涉及跨系統狀態變化的複雜推理

結論

網路安全的未來在於讓防禦模型達到與攻擊模型同樣的速度和推理能力,而這只能通過開源模型的大規模協作訓練來實現。

完整解析

網路安全面臨的根本挑戰正在改變。過去20年的防禦策略基於一個簡單的經濟學假設:攻擊者資源有限,必須有選擇地選擇目標,而防禦者則要堵住所有的門窗和縫隙。但現在AI模型的出現徹底翻轉了這個局面。像GPT這樣的強大模型可以同時針對多個目標尋找漏洞,這意味著防禦方面臨前所未有的速度劣勢。傳統的補丁、規則和人工審查已經跟不上AI驅動的攻擊速度。

為了重建防禦堆棧,Thomas和Yuri的團隊開發了Mask Off基準測試,這是一個針對訪問控制漏洞的評估框架。訪問控制漏洞之所以重要,是因為它們是任何網路攻擊的入口點——攻擊者首先需要獲得某種權限提升或繞過認證。Mask Off的創新之處在於它不是讓模型讀代碼然後找漏洞,而是把模型放在一個真實的、黑箱的環境中。模型不知道零日漏洞存在或具體位置,只能通過互動、推理和邏輯推導來發現問題。這要求模型像解決ArcAGI 3謎題一樣理解動態系統——當改變一個狀態時,整個系統如何變化,以及如何利用這些變化來達成目標。

演講中展示的一個真實案例涉及Keycloak、Vault和Broker之間的複雜交互,要求模型完成16步的邏輯鏈。其中的關鍵零日漏洞是一個認證檢查只驗證了用戶名,而另一個檢查使用用戶ID。聰明的攻擊者可以通過改變管理員的名稱,繼承他們的權限,從而進行權限提升。但這不只是找到一個漏洞——模型必須理解整個系統的狀態,知道改變一個參數會如何影響後續的檢查和操作。當前的模型,包括GPT-4.5,在發現階段表現不錯,能找到大部分必要的信息,但無法做出這個關鍵的邏輯跳躍。他們嘗試許多東西,在系統中亂打亂闖,但缺乏系統化的推理能力。

評估方法本身也很重要。Mask Off不只是給出通過或失敗的二元判斷,而是用確定性分級器驗證漏洞利用鏈中的每一步。這樣研究者可以看到模型究竟在哪個環節卡住了——是在發現階段還是在利用推理階段。結果顯示,目前K1級別的難度只有一個解決方案,K5級別只有GPT級別的模型能夠通過。這個基準的難度甚至接近ArcAGI 3對模型推理能力的要求。

展望未來,Thomas和Yuri強調開源模型的關鍵作用。防禦不能依賴於只有兩家公司能提供的閉源模型。真正的解決方案是培訓高品質的開源模型,讓每個組織都能部署自己的、針對其環境優化的防禦模型。這樣可以實現攻防速度上的逆轉:不是依賴緩慢的人工審查和補丁,而是依賴快速、本地部署的AI防禦。這需要大量的訓練數據、強大的開源模型和研究社群的廣泛協作——這正是Mask Off基準釋出的目的。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI