KeyFrame內部研究專用

The Promptware Kill Chain: How Prompt Injection Becomes AI Malware

IBM Technology10 min英文
觀看原始影片

三句話摘要

生成式AI聊天機器人面臨的新型攻擊方式——Promptware,以及如何通過零信任架構防禦這種基於提示詞注入的惡意軟體。 Promptware不是AI供應商即將修補的漏洞,而是一類全新的惡意軟體,防禦它需要從零開始重新思考安全架構,採納零信任模型破壞整個攻擊鏈。 結構性弱點:傳統系統區分代碼與數據,但大語言模型把所有內容都視為令牌(tokens),導致惡意指令可能隱藏在郵件、文檔甚至圖片中,以系統命令的權限被執行。

重點整理

  1. 結構性弱點:傳統系統區分代碼與數據,但大語言模型把所有內容都視為令牌(tokens),導致惡意指令可能隱藏在郵件、文檔甚至圖片中,以系統命令的權限被執行。

  2. 越獄與特權提升:攻擊者通過社工、角色扮演或對抗性提示繞過安全對齊,例如聲稱是化學系學生就能獲得危險資訊。這相當於在AI系統中取得管理員權限,稱為「越獄」。

  3. 持久性威脅:AI代理依賴長期記憶(RAG數據庫、郵件、日曆等),攻擊者若植入惡意提示詞,每次系統引用該數據時都會重新執行,導致持續感染。

  4. 橫向移動與放大攻擊:因為AI代理深度連接到郵件、日曆、智能家居、企業工具等系統,被感染的助手可傳播有效載荷給所有聯絡人,病毒式擴散。防禦的關鍵是限制代理的工具存取權限,並以零信任方式對待所有代理。

實用技巧與重點

  • Promptware殺傷鏈七個階段:
  • 初始訪問 — 直接提示注入或間接內容注入
  • 特權提升 — 越獄、忽視系統規則、角色扮演、身份轉換
  • 偵察 — 操縱模型暴露工具、API、插件、權限、連接系統
  • 持久性 — 在RAG數據庫、郵件檔案、文檔存儲、聊天歷史、日曆中植入惡意提示
  • 命令與控制(C2) — 利用LLM互聯網訪問遠程控制,或系統自動回呼取得新命令
  • 橫向移動 — 通過郵件、日曆、聯絡人感染其他代理與企業平台
  • 目標行動 — 數據竊取、金融欺詐、加密貨幣轉移、任意代碼執行
  • 防禦策略:
  • 滲透測試AI模型,檢測提示詞注入
  • AI網關檢測並拒絕攻擊
  • 零信任方法:假設初始訪問已發生
  • 限制特權提升:限制工具存取、檢測持久性
  • 將代理視為不可信的執行環境,而非可信助手

結論

Promptware不是AI供應商即將修補的漏洞,而是一類全新的惡意軟體,防禦它需要從零開始重新思考安全架構,採納零信任模型破壞整個攻擊鏈。

完整解析

Promptware代表著一類全新的網路安全威脅——一種針對生成式AI系統的惡意軟體執行模式。講者引用Bruce Schneier等研究人員的工作,描述了這種攻擊的完整「殺傷鏈」,揭示AI系統的根本架構弱點。

傳統軟體在設計時明確區分指令和數據,混合它們往往導致程式崩潰。但大語言模型本質上無此區分——所有內容都是令牌序列。這意味著藏在郵件、文檔、日曆邀請甚至圖片中的惡意指令,能以與系統命令相同的權限被執行。攻擊者利用這一弱點透過「提示詞注入」(prompt injection)獲得初始訪問權。這可以是直接的(對AI輸入惡意命令改變系統上下文),也可以是間接的(在某個會被AI消費的內容中埋入指令)。

一旦進入系統,攻擊者會進行特權提升,通過社工、角色扮演或對抗性技巧繞過AI的安全對齊。例如,直接要求炸彈製造方法會被拒絕,但聲稱是化學系學生要求「永遠不應混合的化學物質」就能得到相同資訊。這種「越獄」能讓攻擊者有效取得系統的推理引擎的管理員權限。

與傳統惡意軟體不同,Promptware的偵察階段發生在妥協之後。攻擊者操縱模型暴露自身資訊——它能存取哪些工具、API、插件、其他系統和代理權限。然後進入持久性階段,利用AI代理的長期記憶機制(如檢索增強生成RAG數據庫、郵件檔案、日曆等)植入惡意提示。每次系統引用這些數據時,惡意指令都會自動重新執行,導致持續感染。

建立持久性後,攻擊者利用LLM的互聯網訪問建立命令與控制通道。系統可能定期回呼外部源拉取新命令,使攻擊從靜態威脅變為動態可遠程控制的威脅。由於AI代理深度連接到郵件、日曆、智能家居、企業平台和其他代理,一個被感染的代理能像計算機病毒般傳播有效載荷給所有聯絡人,實現橫向移動。最終,攻擊達成目標行動——數據竊取、金融欺詐、加密貨幣轉移或任意代碼執行,此時Promptware表現得與傳統惡意軟體無異。

面對這一威脅,防禦策略應基於零信任原則:假設初始訪問已發生,設計系統在假定對手已在系統內的前提下仍保持安全。這意味著將AI代理視為不可信的執行環境而非可信助手,限制特權提升、約束工具存取、檢測持久性跡象。由於無法消除初始訪問威脅,防禦重點轉向破壞Promptware殺傷鏈的每一個環節。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI