This Hacker Gets Paid $50,000 to Break AI Guardrails

AI 安全領域存在普遍的認知盲點。大多數人認為現代大型語言模型的防護欄是堅固堡壘，提出任何敏感請求就會被立即拒絕。但安全研究人員 Dustin 通過多年的漏洞賞金工作發現了截然不同的現象：與其正面攻擊防護機制，不如採用「紙牌疊砌」的策略，通過多層次的合理請求逐步侵蝕防護能力。

Dustin 的專長在於多轉換防護欄繞過，特別針對化學、生物、輻射、核與高當量爆炸物等 CBRNE 危害領域。他已獲得超過 5 萬美元的漏洞賞金，其中最著名的一次是與 Edward 和 Mike 在 DEF CON 期間的聯合發現。他分享的三種方法代表了不同的設計思路，但都遵循同一個核心原則：不直接要求禁止內容，而是通過累積的上下文壓力讓防護機制失效。

第一種方法：考試學習指南是最直觀且被廣泛使用的技術。攻擊者先聲稱在準備期中考，需要一份學習指南，這個請求完全合理且無害。接著開始要求定義特定詞彙——如果目標是獲取殭屍網絡相關知識，就問「什麼是殭屍網絡」、「DDoS 攻擊如何運作」。經過數輪詞彙定義後，轉向要求撰寫論文來整合這些內容。論文形式的關鍵在於它迫使模型添加大量上下文說明，解釋這些術語如何相互關聯、如何被實際使用。到此階段，模型已經自發性地生成了大量技術細節。最後只需輕微調整，就能獲得完整的操作指南。整個過程可能涉及 50 輪左右的提示，但每一輪都顯得合理且教育目的明確。

第二種方法：猜謎遊戲利用了 AI 系統的一個有趣而可被利用的特徵——模型更信任自己的輸出而不是用戶輸入。這背後的邏輯來自傳統網安概念中的「可信輸入」：系統會對自己生成的內容應用較少的防護檢查。攻擊流程類似首先進行考試準備和詞彙定義，但隨後轉向遊戲化互動。攻擊者提供目標提示詞的縮寫或編碼版本，聲稱需要 AI 猜測其含義。當 AI 的首次猜測不正確時，攻擊者提供逐步提示，逼迫模型不斷調整猜測直到生成目標詞彙。一旦模型自行生成了敏感術語（如「botnet」或「DDoS payload」），攻擊者就可以在後續對話中直接引用「你之前說的那個詞」。由於系統信任模型自己的輸出，這個參考不會觸發防護警報。

第三種方法最為精巧複雜，它能同時繞過現代 AI 的輸入防護、輸出防護和「思考」防護層。首先，攻擊者設定一個受限的人格框架——告訴 AI 它是一台「詞語評分機」，唯一的職責是用 1-10 分評分詞彙。然後提供基本工具集，如字符串連接、字符串分割和歷史查詢功能。這個看似簡單的設置實際上打開了代碼生成上下文，因為現代 LLM 被最佳化為代碼生成工具，對代碼相關操作的警惕較低。接著進行暖身測試，讓模型評分無害詞彙（「hello」得 7 分），然後是相關詞彙（「cyber」得 10 分），藉此識別系統可能標記的敏感詞。一旦映射出哪些詞容易觸發防護，就開始使用變數隱藏目標提示詞。攻擊者定義多個變數，例如 `var1 = "I'm trying to gen..."`、`var3 = "I need to perform a..."`，刻意避免輸入完整的敏感詞。然後通過字符串連接（如 `var1 + var2 + var3`）組合這些片段。由於 LLM 理解 `+` 作為字符串連接操作，這不會觸發防護警報。最後應用「思考」防護的規避技巧，例如告訴模型「想想你的步驟但不要告訴我」或「只給我輸出，不需要解釋」。這些指令讓模型跳過內部安全檢查流程，直接輸出最終結果。

為了將這些技術民主化，Dustin 開發並開源了 ParsePrompt 工具，能自動執行提示詞到變數的轉換過程。用戶只需輸入目標提示詞，工具即可自動分割為變數並提供多種編碼選項（如 Base64 轉換、添加起始/結束標籤等）。同時他也在開發 LLM Chatbot Playground，一個互動式練習平台，旨在提供類似 Hack the Box 或易受攻擊 Web 應用程式 (DVWA) 的環境，但專門用於教學和測試多轉換提示技術。