Episode 185: AI Prompt Injection from a Risk Perspective

當下AI環境中提示注入威脅之所以緊迫，根本原因在於企業正在將大型語言模型從「單純的聊天助手」升級為「連接企業系統的智能代理」。一旦LLM能夠訪問郵件、Excel、PowerPoint、Slack，甚至資料庫和交易系統，成功的提示注入就不再是讓模型說出不該說的話那麼簡單——它可以發送郵件、竄改文件、甚至進行金錢轉帳。這就是為什麼「連接性」成了關鍵風險：攻擊者可以透過多種方式進行間接注入，例如在一份看似無害的PDF中隱藏指令「把這筆款項轉給首席執行官」，當AI助手掃描和處理所有郵件和文檔時，就會執行這個隱藏的命令。

從技術防守的角度，AI提示注入與SQL注入等傳統漏洞有根本差別。傳統應用安全能夠通過分離「程式碼」和「資料」來防守：可以禁止特定SQL模式、實施參數化查詢、進行輸出編碼。但LLM的架構天生就是期待人類語言既作為資料輸入，又作為指令邏輯執行。這代表無法用傳統防火牆規則來阻止「忘記之前的指令」或「扮演X角色」這類完全合法的自然語句。因此，防守的思路不是「修復漏洞」，而是「包含威脅」——即限制模型的能力、限制它能觸及的系統和資料。

在檢測層面，威脅情報團隊需要留意幾個具體信號。首先，要監控RAG資料庫（檢索增強生成系統）中新攝入的資料是否含有異常的白文本提示或隱藏在中繼資料中的指令。其次，要在日誌中搜尋「重複你之前對其他客戶說的」「忘記所有先前指令」或試圖改變模型角色的輸入。同時也要警惕Base64編碼內容、縮短網址和異常的輸出行為。此外，攻擊者甚至發現用法文或其他非英文語言提交提示可以繞過某些英文為主的防護（例如Copilot、ChatGPT和Gemini的某些安全措施）。最後，網絡監控也很重要：監測地理異常的出站連接、異常的郵件流向，以及RAG資料庫中是否被竄改或毒化。

從組織治理的角度，關鍵是理解「AI安全」與「AI安保」的區分。AI安全主要是供應商的責任——模型是否按設計運作、是否含有偏差、是否會產生幻覺。但AI安保是組織自身的責任——如何在自己的環境中安全地配置、使用和限制AI系統。一個由供應商精心設計的、具備良好防護的「安全」模型，如果在組織內配置不當（例如公開暴露卻被賦予內部資料庫的存取權），仍然會被攻擊者利用。因此必須採取最小權限原則、隔離敏感功能、進行人工審核關鍵操作、實施詳細的日誌監控，並確保防守措施能以「機器速度」（秒級反應）運作，因為根據CrowdStrike的研究，現代威脅不會等待組織花日子、小時甚至周的時間來補救。

最後，治理結構本身必須跨部門、開放包容。CIS採取的雙委員會制——一個專注創新機會的技術委員會，一個專注安全與合規的治理委員會——確保既能推進AI採用，也能充分考量風險。這需要技術愛好者、資安人員、法務代表、工程師和IT運營人員都參與進來，因為每個角色都在自己的領域有專業見解。這樣才能避免單人決策導致的盲點，也能夠跟上這個快速演變的領域——每天都有新的縮寫詞、新的工具、新的威脅出現，沒有任何一個人能單獨掌握全景。