KeyFrame內部研究專用

[un]prompted.au 2026 - Lets Get Physical... - Rich Smith

Unprompted au31 min英文
觀看原始影片

三句話摘要

通過物理硬體設備(QR碼、徽章掃描器、NFC 卡等)向 AI 系統後端注入隱蔽提示詞的攻擊方法與工具。 AI 安全防禦已無法侷限於聊天框內的字符串,必須像傳統紅隊一樣思考物理世界的多元通道,並通過社區合作加速發現與防禦。 紅隊思維轉換:傳統滲透測試侷限於鍵盤輸入(字符串進出),紅隊作業空間(meatspace)利用多個物理通道、資訊載體,AI 安全應突破只做字符串注入的狹隘框架。

重點整理

  1. 紅隊思維轉換:傳統滲透測試侷限於鍵盤輸入(字符串進出),紅隊作業空間(meatspace)利用多個物理通道、資訊載體,AI 安全應突破只做字符串注入的狹隘框架。

  2. 間接觸發機制:攻擊者無需立即獲得反饋,提示詞先儲存在資料庫或日誌,數小時甚至數年後當 LLM 處理這些資料時才觸發,使傳統防禦失效。

  3. 多元攻擊通道:至少 11 種通道可用,包括 QR 碼掃描、徽章讀取、NFC 卡、USB 設備描述符、BLE 廣播名稱、無線憑證主體備選名稱等,幾乎所有記錄物理事件的系統都是潛在入口。

  4. 必須社區合作:攻擊表面太大無法單人覆蓋,需要紅藍方共同探索,藉由開源工具和實踐發現漏洞與防禦方案。

實用技巧與重點

  • 工具與平台
  • Prompt Injection Studio(開源工具套件,含 MCP 伺服器)
  • 硬體支持:Flipper Zero、Hak5 Rubber Ducky、Bash Bunny、Ubertooth、UART 序列
  • 支持通道:條碼(QR、Code128 等)、音訊、檔案(50+ 格式)、硬體、網路
  • 具體攻擊案例
  • Snipe-IT 資產管理系統:掃描含隱藏提示詞的 QR 碼,提示詞儲存在資產名稱,LLM 摘要時觸發
  • RSA 展會徽章:掃描會議經銷設備時注入提示詞,公司欄位無字數限制,可放入完整提示
  • 模型差異
  • Claude Sonnet 4.6:低成功率
  • Llama 3:86% 成功率(相同提示詞)
  • 防禦建議
  • 標記來自硬體讀取器的資料,使其進入 LLM 前被包裝隔離
  • 定期安全意識訓練,測試組織對物理攻擊的防禦能力
  • 下載工具自行測試環境硬度
  • 先前研究
  • Tom Neaves(2026 年初):通過 SSH 使用者名稱和 Windows 事件注入 SIEM
  • Ads Dawson(Black Hat 2026 夏季):向機器狗 QR 碼進行視覺攻擊

結論

AI 安全防禦已無法侷限於聊天框內的字符串,必須像傳統紅隊一樣思考物理世界的多元通道,並通過社區合作加速發現與防禦。

完整解析

長期以來,AI 安全領域採用相對狹隘的攻擊模型,專注於直接的字符串輸入輸出——通過 API 或應用介面傳送惡意提示。但這種思維遺漏了整個物理世界的攻擊表面。講者 Rich 引入了紅隊術語中的「肉體空間」(meatspace)概念,指出傳統紅隊作業包含多個通道和進攻角度,而非僅限於鍵盤。他認為 AI 安全應該借鑑這種多維度思維。

核心洞察在於間接提示詞注入:攻擊者無需即時獲得反饋,而是通過物理硬體設備(如 QR 碼掃描槍)將提示詞注入後端系統的日誌或資料庫。這些提示詞靜靜地躺在那裡,可能數小時或數年,直到某個操作員要求「摘要過去一天的門禁紀錄」或「列出未審計資產」時,LLM 才處理這些文本,此時隱藏的提示詞被觸發,執行攻擊。Rich 在演講中展示了一個完整的端到端範例:透過 Prompt Injection Studio 工具生成含提示詞的 QR 碼,列印出來,掃描進資產管理系統 Snipe-IT,提示詞儲存在資產名稱欄,當 LLM 被要求總結資產時,提示詞成功干擾了 LLM 的判斷。

攻擊通道多得驚人。QR 碼掃描器、會議徽章讀取器、NFC 卡、USB 設備描述符、BLE 廣播名稱、無線網路封包中的 SSID、電子郵件憑證的主體備選名稱——幾乎任何物理安全系統都在不斷記錄和傳輸文本資料。這些系統最初被設計用於單純的「資料」記錄,從未考慮過這些資料會被 AI 模型解釋。由於許多組織已經部署了 Flipper Zero 或類似紅隊工具進行安全測試,稍加改造即可用於這類攻擊。

防禦層面仍在探索階段。Rich 建議對來自硬體讀取器的資料進行標記和隔離,確保 LLM 接收前已被適當限制。更重要的是安全意識和持續的紅隊測試,組織應主動下載工具、測試自身環境。由於攻擊表面龐大且系統各異,單靠廠商無法全面覆蓋,需要紅藍方共同探索。

32 min
AI 安全英文10月20日

[un]prompted.au 2026 - Human in the Loop, Ghost in the Shell... - Ash Fox

Unprompted au看原片 ↗
  • 攻擊者採用 AI 的三個維度:精密度增加(複雜技能從昂貴資源變為按需模型)、規模擴張(不再受人力限制)、速度加快(代理快速導航與決策)。但不同攻擊者類型有差異——需要隱蔽性的特務活動不太可能部署代理,而大規模無差別的勒索軟體運營者更可能採用
  • 紅隊代理需兼顧有效性與可信性:不僅要能找到漏洞和執行攻擊,更要表現得像真實攻擊者(適當隱蔽性、專業作業規範),避免洩露憑證、破壞系統、超出測試範圍等不當行為。
31 min
AI 技術英文10月20日

[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh

Unprompted au看原片 ↗
  • 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
  • 系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
18 min
Web2 安全英文10月20日

[un]prompted.au 2026 - How Agentic SAST Decodes Business Context to Hunt Privilege Esc. - Sylvia Xu

Unprompted au看原片 ↗
  • 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。
  • LLM能語義化理解代碼含義,區分身份驗證邏輯與其他檢查;但存在不確定性、上下文溢出與幻覺問題。解決方案是用決定性Python代碼來驗證LLM輸出、控制上下文流、蒐集人工反饋。