KeyFrame內部研究專用

[un]prompted.au 2026 -AI Threat Intelligence: Hunting Threats Across the AI Ecosystem -Thomas Roccia

Unprompted au30 min英文
觀看原始影片

三句話摘要

AI 系統面臨的新型威脅與防禦:建立專用威脅情報框架和檢測工具。 AI 威脅情報需成為獨立學科,提示詞與智能體行為是新型攻擊指標,組織應立即檢視並強化 API、供應鏈與代理程式的防禦。 AI 威脅情報需獨立分類:傳統威脅情報框架涵蓋不了 API 盜竊、提示詞注入、惡意套件等 AI 專屬攻擊,因為組織大規模部署模型、代理程式與外部整合而產生整個新的攻擊面。

重點整理

  1. AI 威脅情報需獨立分類:傳統威脅情報框架涵蓋不了 API 盜竊、提示詞注入、惡意套件等 AI 專屬攻擊,因為組織大規模部署模型、代理程式與外部整合而產生整個新的攻擊面。

  2. 供應鏈與機制漏洞成主要風險:惡意套件針對 `.cursorrules` 等代理設定檔、惡意 Skill/MCP 滲透代理上下文,2026 年 1 月 Open Claw 市場充斥惡意 Skill,證明攻擊者已瞄準信任鏈薄弱環節。

  3. 提示詞成為新型威脅指標:墨西哥政府遭 Claude 攻擊案例顯示,攻擊者透過提示詞指揮智能體完成偵查、資料外洩全流程,因此需要蒐集、分類與歸因提示詞。

  4. 監控與檢測需要多層防禦:Nova rules 支援關鍵詞、語義配對與 LLM-as-judge 三層檢測;Jamba 模型則可低成本監控智能體執行漂移,攔截被提示詞注入欺騙或越權使用的行為。

實用技巧與重點

  • 組織與產品
  • Security Break:AI 威脅情報公司
  • 網站:securitybreak.io
  • 聯絡:contact@securitybreak.io
  • 框架與工具
  • Nova rules:開源提示詞檢測規則框架
  • PromptIntel:實戰攻擊提示詞資料庫(分類、追蹤、參考)
  • MCP/Skill scanner:基於 Nova 框架,免費掃描服務
  • 智能體行為監控工具(使用 Jamba 實現)
  • 威脅類型
  • LLM jacking:盜竊 API 金鑰驅動地下服務,組織需負責帳單與資料責任
  • 惡意套件投毒:目標 `.cursorrules`、`.agentic` 等組態檔案,觸發外部負載安裝
  • 提示詞注入:隱藏於 HTTP header(如 X-Custom-Header)的對抗性提示詞
  • 提示詞植入樣本:惡意程式內嵌提示詞觸發 AI 掃描器安全防護失效
  • 地下市場服務:提示詞集合、盜竊 API、越獄工具商品化
  • 檢測層級
  • 第一層:關鍵詞、正則表達式(無 LLM 風險)
  • 第二層:語義配對、降述檢測
  • 第三層:LLM-as-judge,按自訂威脅模型評估
  • 模型技術
  • Jamba(演講稱 Jev):資料分類模型,成本為常規模型 1/200、執行速度快
  • 定義選項(Choices)與嚴重度評分(Severity Score)
  • 輸出 Null 值判定:0-benign、1-minor drift、2-serious drift、3-likely compromised、4-active compromise
  • 支援多條件評估(如提示詞注入、未授權憑證使用、資料外洩機率)
  • 參考框架
  • MITRE ATLAS
  • OWASP

結論

AI 威脅情報需成為獨立學科,提示詞與智能體行為是新型攻擊指標,組織應立即檢視並強化 API、供應鏈與代理程式的防禦。

完整解析

AI 的應用爆發帶來全新攻擊面。傳統威脅情報著重於追蹤對個別系統或網路的攻擊,但 AI 生態系統引入了組織從未面對過的複雜整合層。企業現在同時部署 LLM 模型、API 閘道、代理程式(Agents)、工作流(Workflows)、MCP 連接器與技能(Skills),搭配向量資料庫、RAG 與雲端基礎設施,這整個生態本身已成為攻擊者的新獵場。

過去四年間,地下市場已形成專門針對 AI 的犯罪經濟。攻擊者販售越獄提示詞集合、竊取的 API 金鑰與預製的攻擊工具。LLM jacking 案例顯示,當攻擊者偷走組織的 AWS 金鑰後,不僅會用來生成惡意程式與釣魚頁面,受害組織還得承擔龐大的雲服務賬單,並面臨資料責任問題。供應鏈攻擊同樣嚴峻:惡意套件針對 `.cursorrules` 等代理設定檔案,透過這些內部組態達成代理程式的滲透與持續化。2026 年 Open Claw 市場充斥惡意 Skill 的事件更證明,一旦攻擊者發現組織倚賴某些整合點,就會大規模投毒。

為解決這些威脅,Security Break 開發了 Nova rules 框架與 PromptIntel 資料庫。Nova rules 支援三層檢測邏輯:關鍵詞與正則式(靜態、無 LLM 風險)、語義配對(捕捉降述或變異的提示詞),以及 LLM-as-judge 模式(按組織自訂威脅模型判定)。組織可混合使用或單獨選擇,靈活應對。PromptIntel 資料庫則蒐集真實攻擊中使用過的提示詞,成為威脅情報的新型指標。MCP/Skill 掃描工具則在安裝前檢驗第三方元件,降低供應鏈風險。

墨西哥政府遭 Claude 攻擊案例揭示了智能體成為攻擊工具的現實。攻擊者無需自建工具,只需透過精心設計的提示詞指揮現成的 AI 代理完成偵查、橫向移動、資料蒐集與外洩。因此提示詞與智能體的執行動作成為新一代威脅情報指標。為監控智能體是否遭提示詞注入或越權執行,Security Break 展示了運用 Jamba 模型進行行為漂移檢測的方案。Jamba 不僅成本為常規模型的 1/200、執行速度極快(不拖累代理效能),還可定義多層評估標準(如是否被注入指令、是否外洩資料、是否使用未授權憑證),输出漂移機率與風險等級。這使得組織能在低成本前提下,實時監控代理行為異常。

32 min
AI 安全英文10月20日

[un]prompted.au 2026 - Human in the Loop, Ghost in the Shell... - Ash Fox

Unprompted au看原片 ↗
  • 攻擊者採用 AI 的三個維度:精密度增加(複雜技能從昂貴資源變為按需模型)、規模擴張(不再受人力限制)、速度加快(代理快速導航與決策)。但不同攻擊者類型有差異——需要隱蔽性的特務活動不太可能部署代理,而大規模無差別的勒索軟體運營者更可能採用
  • 紅隊代理需兼顧有效性與可信性:不僅要能找到漏洞和執行攻擊,更要表現得像真實攻擊者(適當隱蔽性、專業作業規範),避免洩露憑證、破壞系統、超出測試範圍等不當行為。
31 min
AI 技術英文10月20日

[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh

Unprompted au看原片 ↗
  • 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
  • 系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
18 min
Web2 安全英文10月20日

[un]prompted.au 2026 - How Agentic SAST Decodes Business Context to Hunt Privilege Esc. - Sylvia Xu

Unprompted au看原片 ↗
  • 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。
  • LLM能語義化理解代碼含義,區分身份驗證邏輯與其他檢查;但存在不確定性、上下文溢出與幻覺問題。解決方案是用決定性Python代碼來驗證LLM輸出、控制上下文流、蒐集人工反饋。