KEYNOTE: Attacking AI by Jason Haddix | Bug Bounty Village, DEF CON 33

• 1

  攻擊並非只針對模型本身：真實的 AI 應用包含完整生態系統（Web 應用、API 基礎設施、資料庫、代理工具、日誌系統等），其中許多開源元件存在漏洞。攻擊者可以透過 chatbot 輸入，串連整個堆棧中的多個脆弱點。

• 2

  非決定性行為加倍測試成本：LLM 的輸出非決定性，同一攻擊需要測試 3-7 次才能確認成功或失敗。這導致滲測時間大幅延長，「第一次成功」的直覺往往失敗。

• 3

  API 權限過度授予是普遍漏洞：許多系統將 API 金鑰和認證寫入系統提示或硬編碼，導致洩露；代理工具被賦予不必要的讀寫權限，使攻擊者可藉由提示注入執行非授權操作。

• 4

  資料未清理造成敏感訊息洩露：RAG 資料庫中存放的企業資訊（機密文件、合約條款、個人資料）往往未經過濾，攻擊者可以繞過系統提示的限制條件直接取得。

• 攻擊方法論的五大層面：
• 識別輸入點（聊天框、REST API、多模態系統）
• 攻擊生態系統（框架、開源套件、基礎設施）
• 測試模型本身（傳統紅隊測試）
• 攻擊提示工程（洩露系統提示、修改業務邏輯）
• 攻擊資料層（RAG 資料庫中的敏感訊息）
• 四個真實案例：
• 醫療文件處理：在文件後設資料、二進位資料、QR 碼和圖片中嵌入提示注入和盲 XSS 負載；JavaScript 在人工審查階段執行，攻擊內部員工並竊取會話令牌。
• 汽車零件知識庫：系統提示中硬編碼 Jira/Confluence API 金鑰；攻擊者獲得認證後，在 Jira 中建立包含釣魚連結的任務，使用 EvilJinx 竊取企業 Microsoft Cookie。RAG 資料庫洩露機密的零件規格、專利資訊和製造成本。
• 科技公司銷售分析工具：所有 Salesforce 資料透過 OpenAI API 傳送（安全架構缺失）；具寫入權限的代理工具允許提示注入產生虛假折扣、修改客戶記錄、透過 Slack 發送釣魚訊息。
• 飯店預訂系統：代理只限制修改獎勵積分；攻擊者直接注入提示要求系統授予大量積分並預訂房間。
• 提示注入分類學（Arcanum 分類法）：
• 意圖(Intents)：包含傳統紅隊（討論傷害、模型越獄、工具發現）和業務完整性攻擊（折扣濫用、獎勵點操縱、費用減免、未授權預訂、繞過付費牆、修改合約條款等，已識別 75+ 種攻擊）
• 技術(Techniques)：敘述注入、令牌走私、工具操縱、RAG 中毒等高階混淆技法
• 規避方法(Evasions)：Base64 編碼、Leetspeak、Pig Latin、反向 Unicode、隱形 Unicode、Morse 碼、Emoji 編碼、新造編碼(Bijection/BYOE)
• 三種有效規避技術：
• Emoji 編碼（Andrej Karpathy 發現）：在 Emoji 後設資料中隱藏 Base64 編碼提示；對多數分類器有效 7 個月，現已被 OpenAI 和 Claude 防守。
• 連結走私/變數擴展：構造 Markdown 連結，使代理訪問時在 URL 參數中傳送 Base64 編碼的敏感資料至攻擊伺服器；利用代理對代碼塊的信任度和基於連結的分類器較弱的特性。
• 自備編碼(Bijection/BYOE)（HazeLabs）：宣告新編碼語言（如 A→58）編寫提示注入，繞過分類器因其無先驗知識；可層疊使用多種編碼。
• 自動化工具：
• Pirate（Microsoft 紅隊框架）：內建提示庫和規避方法，支援自訂探測
• Pirate Ship（Burp Suite 擴展）：在網站流量中截獲 LLM 請求並自動執行攻擊
• 夢想工具：Web 應用界面，選擇意圖/技術/規避組合即可自動生成和發送攻擊
• LangChain 框架漏洞：Rich Harang 發現 LangChain 內建的數學處理函數也執行系統命令（`os.system()`），該漏洞潛伏 2 年；任何允許透過 LangChain 處理數學的代理都可遠端讀檔。
• 防禦策略（Sam Altman 觀點）：
• 無法完全訓練消除提示注入（永遠存在 5-10% 風險）
• 分層防守：分類器→guardrails→資料轉換→多層檢驗可降至 <2%
• 類同網頁駭客，沒有 100% 安全的系統

“提示注入不是孤立的模型問題，而是跨越整個應用生態系統的多層攻擊面，需要深度業務知識、非決定性的重複測試，以及持續對抗規避技術的演進。”