KeyFrame內部研究專用

Episode 185: AI Prompt Injection from a Risk Perspective

CIS38 min英文
觀看原始影片

三句話摘要

AI提示注入攻擊的定義、風險、檢測方法,以及組織應該如何建立治理框架來平衡AI創新與安全。 AI提示注入防守的核心不是「修復一個技術漏洞」,而是透過最小權限、人工審核、跨部門治理和機器速度防守來「包含」新型威脅,同時不犧牲組織利用AI創新的機會。 LLM與傳統應用安全的根本差異在於架構設計。傳統SQL注入可以分離「程式碼」和「資料」並設定過濾,但LLM天生就是期待人類語言作為「資料」同時也是「程式碼」,因此無法用傳統防火牆規則攔截(例如無法禁用「忘記之前的指令」這類自然語句)。

重點整理

  1. LLM與傳統應用安全的根本差異在於架構設計。傳統SQL注入可以分離「程式碼」和「資料」並設定過濾,但LLM天生就是期待人類語言作為「資料」同時也是「程式碼」,因此無法用傳統防火牆規則攔截(例如無法禁用「忘記之前的指令」這類自然語句)。

  2. AI安全與AI安保是兩個不同責任:AI安全是供應商的責任(模型是否如預期運作、是否有偏差、是否產生幻覺),而AI安保是組織的責任(如何安全配置、如何限制權限、如何防止被攻擊者利用,即使模型本身很安全)。例如一個安全的模型如果配置不當(例如公開接觸內部資料庫)仍會被攻擊者利用。

  3. 提示注入的威脅來自連接性與代理能力。當AI助手連接到郵件系統、檔案系統或交易系統時,成功的提示注入可以真正發送郵件、操作文件、轉帳;而且攻擊方可能透過RAG資料庫毒化、被破壞的外部文檔或釣魚附件進行間接注入。

  4. 治理必須采用跨部門委員會制而非單人決策。需要技術人員、資安人員、法務、IT等不同角色共同評估,因為這個領域變化極快,單一視角會錯過重要的風險或機會。

實用技巧與重點

  • 提示注入的技術表現:
  • 白文本或二進制形式隱藏在文檔中
  • 法文等非常用語言來繞過英文為主的安全防護(bypass Copilot、ChatGPT、Gemini)
  • Base64編碼、短網址、分段指令
  • RAG資料庫的中繼資料欄位隱藏指令
  • 檢測指標(CTI層面):
  • 被攻擊者破壞的網站或惡意持有的網站
  • 釣魚郵件附件(PDF、Word)中的隱藏指令
  • 被感染的RAG資料庫內容異常
  • 日誌中出現「重複我之前說的」「忘記之前的指令」等
  • 公開模型輸入中出現角色扮演型提示(「你現在是競爭對手公司」)
  • 異常的模型輸出行為
  • 防守控制措施:
  • 人工在環(Human-in-the-Loop):所有敏感資料參考或操作都需人工驗證
  • 資料標籤與隔離:敏感功能與敏感資料分離存放
  • 最小權限原則:AI系統只能觸及必要的資源與系統
  • 日誌監控:檢查異常或異常行為
  • 速度防守:防守必須以「機器速度」(秒級)運作,不能等待補丁
  • 治理結構(CIS範例):
  • AI治理委員會:掌管治理政策面
  • 技術顧問委員會:評估能力與創新面
  • 跨部門代表:技術人員、資安、法務、工程、IT
  • 供應商評估檢查清單:
  • 合約語言中對資料處理的承諾
  • 合規證明報告
  • 供應鏈資訊與第三方連接
  • 地理位置與過往安全事件
  • 他們對提示注入和工具濫用的真實防守措施(非行銷用語)

結論

AI提示注入防守的核心不是「修復一個技術漏洞」,而是透過最小權限、人工審核、跨部門治理和機器速度防守來「包含」新型威脅,同時不犧牲組織利用AI創新的機會。

完整解析

當下AI環境中提示注入威脅之所以緊迫,根本原因在於企業正在將大型語言模型從「單純的聊天助手」升級為「連接企業系統的智能代理」。一旦LLM能夠訪問郵件、Excel、PowerPoint、Slack,甚至資料庫和交易系統,成功的提示注入就不再是讓模型說出不該說的話那麼簡單——它可以發送郵件、竄改文件、甚至進行金錢轉帳。這就是為什麼「連接性」成了關鍵風險:攻擊者可以透過多種方式進行間接注入,例如在一份看似無害的PDF中隱藏指令「把這筆款項轉給首席執行官」,當AI助手掃描和處理所有郵件和文檔時,就會執行這個隱藏的命令。

從技術防守的角度,AI提示注入與SQL注入等傳統漏洞有根本差別。傳統應用安全能夠通過分離「程式碼」和「資料」來防守:可以禁止特定SQL模式、實施參數化查詢、進行輸出編碼。但LLM的架構天生就是期待人類語言既作為資料輸入,又作為指令邏輯執行。這代表無法用傳統防火牆規則來阻止「忘記之前的指令」或「扮演X角色」這類完全合法的自然語句。因此,防守的思路不是「修復漏洞」,而是「包含威脅」——即限制模型的能力、限制它能觸及的系統和資料。

在檢測層面,威脅情報團隊需要留意幾個具體信號。首先,要監控RAG資料庫(檢索增強生成系統)中新攝入的資料是否含有異常的白文本提示或隱藏在中繼資料中的指令。其次,要在日誌中搜尋「重複你之前對其他客戶說的」「忘記所有先前指令」或試圖改變模型角色的輸入。同時也要警惕Base64編碼內容、縮短網址和異常的輸出行為。此外,攻擊者甚至發現用法文或其他非英文語言提交提示可以繞過某些英文為主的防護(例如Copilot、ChatGPT和Gemini的某些安全措施)。最後,網絡監控也很重要:監測地理異常的出站連接、異常的郵件流向,以及RAG資料庫中是否被竄改或毒化。

從組織治理的角度,關鍵是理解「AI安全」與「AI安保」的區分。AI安全主要是供應商的責任——模型是否按設計運作、是否含有偏差、是否會產生幻覺。但AI安保是組織自身的責任——如何在自己的環境中安全地配置、使用和限制AI系統。一個由供應商精心設計的、具備良好防護的「安全」模型,如果在組織內配置不當(例如公開暴露卻被賦予內部資料庫的存取權),仍然會被攻擊者利用。因此必須採取最小權限原則、隔離敏感功能、進行人工審核關鍵操作、實施詳細的日誌監控,並確保防守措施能以「機器速度」(秒級反應)運作,因為根據CrowdStrike的研究,現代威脅不會等待組織花日子、小時甚至周的時間來補救。

最後,治理結構本身必須跨部門、開放包容。CIS採取的雙委員會制——一個專注創新機會的技術委員會,一個專注安全與合規的治理委員會——確保既能推進AI採用,也能充分考量風險。這需要技術愛好者、資安人員、法務代表、工程師和IT運營人員都參與進來,因為每個角色都在自己的領域有專業見解。這樣才能避免單人決策導致的盲點,也能夠跟上這個快速演變的領域——每天都有新的縮寫詞、新的工具、新的威脅出現,沒有任何一個人能單獨掌握全景。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI