The Promptware Kill Chain: How Prompt Injection Becomes AI Malware

Promptware代表著一類全新的網路安全威脅——一種針對生成式AI系統的惡意軟體執行模式。講者引用Bruce Schneier等研究人員的工作，描述了這種攻擊的完整「殺傷鏈」，揭示AI系統的根本架構弱點。

傳統軟體在設計時明確區分指令和數據，混合它們往往導致程式崩潰。但大語言模型本質上無此區分——所有內容都是令牌序列。這意味著藏在郵件、文檔、日曆邀請甚至圖片中的惡意指令，能以與系統命令相同的權限被執行。攻擊者利用這一弱點透過「提示詞注入」（prompt injection）獲得初始訪問權。這可以是直接的（對AI輸入惡意命令改變系統上下文），也可以是間接的（在某個會被AI消費的內容中埋入指令）。

一旦進入系統，攻擊者會進行特權提升，通過社工、角色扮演或對抗性技巧繞過AI的安全對齊。例如，直接要求炸彈製造方法會被拒絕，但聲稱是化學系學生要求「永遠不應混合的化學物質」就能得到相同資訊。這種「越獄」能讓攻擊者有效取得系統的推理引擎的管理員權限。

與傳統惡意軟體不同，Promptware的偵察階段發生在妥協之後。攻擊者操縱模型暴露自身資訊——它能存取哪些工具、API、插件、其他系統和代理權限。然後進入持久性階段，利用AI代理的長期記憶機制（如檢索增強生成RAG數據庫、郵件檔案、日曆等）植入惡意提示。每次系統引用這些數據時，惡意指令都會自動重新執行，導致持續感染。

建立持久性後，攻擊者利用LLM的互聯網訪問建立命令與控制通道。系統可能定期回呼外部源拉取新命令，使攻擊從靜態威脅變為動態可遠程控制的威脅。由於AI代理深度連接到郵件、日曆、智能家居、企業平台和其他代理，一個被感染的代理能像計算機病毒般傳播有效載荷給所有聯絡人，實現橫向移動。最終，攻擊達成目標行動——數據竊取、金融欺詐、加密貨幣轉移或任意代碼執行，此時Promptware表現得與傳統惡意軟體無異。

面對這一威脅，防禦策略應基於零信任原則：假設初始訪問已發生，設計系統在假定對手已在系統內的前提下仍保持安全。這意味著將AI代理視為不可信的執行環境而非可信助手，限制特權提升、約束工具存取、檢測持久性跡象。由於無法消除初始訪問威脅，防禦重點轉向破壞Promptware殺傷鏈的每一個環節。