Training Frontier Models to Out-Think Hackers — Uri Rolls, Arithmetic & Thom Wolf, Hugging Face

網路安全面臨的根本挑戰正在改變。過去20年的防禦策略基於一個簡單的經濟學假設：攻擊者資源有限，必須有選擇地選擇目標，而防禦者則要堵住所有的門窗和縫隙。但現在AI模型的出現徹底翻轉了這個局面。像GPT這樣的強大模型可以同時針對多個目標尋找漏洞，這意味著防禦方面臨前所未有的速度劣勢。傳統的補丁、規則和人工審查已經跟不上AI驅動的攻擊速度。

為了重建防禦堆棧，Thomas和Yuri的團隊開發了Mask Off基準測試，這是一個針對訪問控制漏洞的評估框架。訪問控制漏洞之所以重要，是因為它們是任何網路攻擊的入口點——攻擊者首先需要獲得某種權限提升或繞過認證。Mask Off的創新之處在於它不是讓模型讀代碼然後找漏洞，而是把模型放在一個真實的、黑箱的環境中。模型不知道零日漏洞存在或具體位置，只能通過互動、推理和邏輯推導來發現問題。這要求模型像解決ArcAGI 3謎題一樣理解動態系統——當改變一個狀態時，整個系統如何變化，以及如何利用這些變化來達成目標。

演講中展示的一個真實案例涉及Keycloak、Vault和Broker之間的複雜交互，要求模型完成16步的邏輯鏈。其中的關鍵零日漏洞是一個認證檢查只驗證了用戶名，而另一個檢查使用用戶ID。聰明的攻擊者可以通過改變管理員的名稱，繼承他們的權限，從而進行權限提升。但這不只是找到一個漏洞——模型必須理解整個系統的狀態，知道改變一個參數會如何影響後續的檢查和操作。當前的模型，包括GPT-4.5，在發現階段表現不錯，能找到大部分必要的信息，但無法做出這個關鍵的邏輯跳躍。他們嘗試許多東西，在系統中亂打亂闖，但缺乏系統化的推理能力。

評估方法本身也很重要。Mask Off不只是給出通過或失敗的二元判斷，而是用確定性分級器驗證漏洞利用鏈中的每一步。這樣研究者可以看到模型究竟在哪個環節卡住了——是在發現階段還是在利用推理階段。結果顯示，目前K1級別的難度只有一個解決方案，K5級別只有GPT級別的模型能夠通過。這個基準的難度甚至接近ArcAGI 3對模型推理能力的要求。

展望未來，Thomas和Yuri強調開源模型的關鍵作用。防禦不能依賴於只有兩家公司能提供的閉源模型。真正的解決方案是培訓高品質的開源模型，讓每個組織都能部署自己的、針對其環境優化的防禦模型。這樣可以實現攻防速度上的逆轉：不是依賴緩慢的人工審查和補丁，而是依賴快速、本地部署的AI防禦。這需要大量的訓練數據、強大的開源模型和研究社群的廣泛協作——這正是Mask Off基準釋出的目的。