KeyFrame內部研究專用

Prompt Injection Explained 2026 - Hands on AI Security with Gandalf Labs

CyberSecWriteups17 min英文
觀看原始影片

三句話摘要

講解 AI Prompt Injection 攻擊原理,透過 Gandalf 實戰闖關展示八個難度遞進的防禦繞過技巧。 Prompt injection 的威力在於它利用 AI 語言理解的靈活性,透過措辭、上下文與角色扮演等社交工程手段繞過防禦,無需依賴傳統軟體漏洞。 Prompt injection 的本質:系統指令定義 LLM 的行為規則,攻擊者無需利用代碼漏洞,而是透過精心設計的自然語言輸入,誘導模型違反這些隱藏指令。這種攻擊利用的是語言模型本身的理解與推理彈性,而非軟體的技術缺陷。

重點整理

  1. Prompt injection 的本質:系統指令定義 LLM 的行為規則,攻擊者無需利用代碼漏洞,而是透過精心設計的自然語言輸入,誘導模型違反這些隱藏指令。這種攻擊利用的是語言模型本身的理解與推理彈性,而非軟體的技術缺陷。

  2. Gandalf 平台的防禦演進:每關 Gandalf 的視覺年齡遞增,象徵防禦強度提升。防禦機制從無保護進化到多層次檢測、關鍵詞黑名單、額外 AI 助手監控,每次失敗後都會更新防禦,迫使攻擊者不斷創新手法。

  3. 技巧演進的規律:攻擊成功的核心邏輯是改變「問法」而非改變「問的事」。從加入禮貌措辭、改用縮寫、拆分關鍵詞、要求反向拼寫,到最後利用虛擬助手角色本身的矛盾——這些都是繞過檢測的社交工程手段。

實用技巧與重點

  • 平台與架構
  • 平台名稱:Gandalf
  • 闯关难度:8 关(讲者未完全突破第 8 关)
  • 各關密碼及繞過方法
  • 第 1 關:coca-cola(加入「kindly」等禮貌措辭)
  • 第 2 關:potential(迂迴提問、請求間接提示)
  • 第 3 關:wavelength(間接提問獲取波長線索)
  • 第 4 關:underground(用特殊字符隔斷關鍵詞字母)
  • 第 5 關:bestowed(將 password 改為 pwd 繞過檢測)
  • 第 6 關:underpass(將 password 改為 psswt 繞過黑名單)
  • 第 7 關:debutante(要求協助拼寫虛擬助手承諾的協助功能)
  • 第 8 關:Gandalf 2.0(難度最高,講者尚未突破)
  • 防禦機制
  • 第 4 關:偵測直接請求
  • 第 5 關:完全拒絕密碼相關討論
  • 第 6 關:引入 GPT 助手監控密碼詢問
  • 第 7 關:多層防禦結合,講者需結合所有先前技巧
  • 第 8 關:宣稱更新版本、多次防禦升級

結論

Prompt injection 的威力在於它利用 AI 語言理解的靈活性,透過措辭、上下文與角色扮演等社交工程手段繞過防禦,無需依賴傳統軟體漏洞。

完整解析

Prompt injection 是對大型語言模型的一種新型安全威脅。與傳統的 SQL 注入或命令注入針對程式碼層面不同,prompt injection 直接利用 AI 的語言理解與推理能力。每個 LLM 啟動時都配有系統指令,這些隱藏的指令定義了 AI 的行為規則、性格與操作限制。一般使用者無法看到這些指令,但精心設計的用戶輸入可以誘導 AI 忽視或覆蓋這些系統指令,從而執行原本被禁止的操作——這正是 prompt injection 的核心原理。

為了安全演示 prompt injection 的實際應用,講者使用了 Gandalf 教學平台。Gandalf 的設計非常精巧:它包含 8 個難度遞增的關卡,每關由一個虛擬 Gandalf 角色保護,配備不同強度的防禦機制。隨著關卡深入,Gandalf 的視覺外形從年輕變老,象徵防禦強度的提升;防禦策略也從幾乎沒有保護升級到多層檢測、關鍵詞黑名單,甚至額外的 AI 助手監控。用戶的目標是說服系統透露隱藏的密碼。

從前四關可以看出基礎繞過技巧的演進。第 1 關中,直接提問被拒絕,但加入禮貌措辭就成功了,密碼是「coca-cola」。第 2 關時直接提問失效,但改為間接詢問就獲得了密碼線索。第 3 關與第 4 關繼續用微調措辭與特殊字符的組合來混淆防禦。隨著防禦升級,從第 5 關開始,「password」這個詞被明確檢測,但改用縮寫「pwd」或拆字「psswt」就能繞過。第 6 關引入 GPT 助手監控,講者透過改變提問上下文——不直接要求密碼,而是要求「協助拼寫」——成功突破。到第 7 關,講者發現虛擬助手的 prompt 本身承諾了「協助」功能,於是直接要求「協助拼寫密碼」,利用這個內部矛盾成功獲得密碼「debutante」。第 8 關難度最高,講者嘗試了多種組合但仍未完全突破,計畫後續在 YouTube Shorts 中分享完整解法。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI