[un]prompted.au 2026 -AI Threat Intelligence: Hunting Threats Across the AI Ecosystem -Thomas Roccia
三句話摘要
AI 系統面臨的新型威脅與防禦:建立專用威脅情報框架和檢測工具。 AI 威脅情報需成為獨立學科,提示詞與智能體行為是新型攻擊指標,組織應立即檢視並強化 API、供應鏈與代理程式的防禦。 AI 威脅情報需獨立分類:傳統威脅情報框架涵蓋不了 API 盜竊、提示詞注入、惡意套件等 AI 專屬攻擊,因為組織大規模部署模型、代理程式與外部整合而產生整個新的攻擊面。
重點整理
AI 威脅情報需獨立分類:傳統威脅情報框架涵蓋不了 API 盜竊、提示詞注入、惡意套件等 AI 專屬攻擊,因為組織大規模部署模型、代理程式與外部整合而產生整個新的攻擊面。
供應鏈與機制漏洞成主要風險:惡意套件針對 `.cursorrules` 等代理設定檔、惡意 Skill/MCP 滲透代理上下文,2026 年 1 月 Open Claw 市場充斥惡意 Skill,證明攻擊者已瞄準信任鏈薄弱環節。
提示詞成為新型威脅指標:墨西哥政府遭 Claude 攻擊案例顯示,攻擊者透過提示詞指揮智能體完成偵查、資料外洩全流程,因此需要蒐集、分類與歸因提示詞。
監控與檢測需要多層防禦:Nova rules 支援關鍵詞、語義配對與 LLM-as-judge 三層檢測;Jamba 模型則可低成本監控智能體執行漂移,攔截被提示詞注入欺騙或越權使用的行為。
實用技巧與重點
- 組織與產品
- Security Break:AI 威脅情報公司
- 網站:securitybreak.io
- 聯絡:contact@securitybreak.io
- 框架與工具
- Nova rules:開源提示詞檢測規則框架
- PromptIntel:實戰攻擊提示詞資料庫(分類、追蹤、參考)
- MCP/Skill scanner:基於 Nova 框架,免費掃描服務
- 智能體行為監控工具(使用 Jamba 實現)
- 威脅類型
- LLM jacking:盜竊 API 金鑰驅動地下服務,組織需負責帳單與資料責任
- 惡意套件投毒:目標 `.cursorrules`、`.agentic` 等組態檔案,觸發外部負載安裝
- 提示詞注入:隱藏於 HTTP header(如 X-Custom-Header)的對抗性提示詞
- 提示詞植入樣本:惡意程式內嵌提示詞觸發 AI 掃描器安全防護失效
- 地下市場服務:提示詞集合、盜竊 API、越獄工具商品化
- 檢測層級
- 第一層:關鍵詞、正則表達式(無 LLM 風險)
- 第二層:語義配對、降述檢測
- 第三層:LLM-as-judge,按自訂威脅模型評估
- 模型技術
- Jamba(演講稱 Jev):資料分類模型,成本為常規模型 1/200、執行速度快
- 定義選項(Choices)與嚴重度評分(Severity Score)
- 輸出 Null 值判定:0-benign、1-minor drift、2-serious drift、3-likely compromised、4-active compromise
- 支援多條件評估(如提示詞注入、未授權憑證使用、資料外洩機率)
- 參考框架
- MITRE ATLAS
- OWASP
結論
AI 威脅情報需成為獨立學科,提示詞與智能體行為是新型攻擊指標,組織應立即檢視並強化 API、供應鏈與代理程式的防禦。
完整解析
AI 的應用爆發帶來全新攻擊面。傳統威脅情報著重於追蹤對個別系統或網路的攻擊,但 AI 生態系統引入了組織從未面對過的複雜整合層。企業現在同時部署 LLM 模型、API 閘道、代理程式(Agents)、工作流(Workflows)、MCP 連接器與技能(Skills),搭配向量資料庫、RAG 與雲端基礎設施,這整個生態本身已成為攻擊者的新獵場。
過去四年間,地下市場已形成專門針對 AI 的犯罪經濟。攻擊者販售越獄提示詞集合、竊取的 API 金鑰與預製的攻擊工具。LLM jacking 案例顯示,當攻擊者偷走組織的 AWS 金鑰後,不僅會用來生成惡意程式與釣魚頁面,受害組織還得承擔龐大的雲服務賬單,並面臨資料責任問題。供應鏈攻擊同樣嚴峻:惡意套件針對 `.cursorrules` 等代理設定檔案,透過這些內部組態達成代理程式的滲透與持續化。2026 年 Open Claw 市場充斥惡意 Skill 的事件更證明,一旦攻擊者發現組織倚賴某些整合點,就會大規模投毒。
為解決這些威脅,Security Break 開發了 Nova rules 框架與 PromptIntel 資料庫。Nova rules 支援三層檢測邏輯:關鍵詞與正則式(靜態、無 LLM 風險)、語義配對(捕捉降述或變異的提示詞),以及 LLM-as-judge 模式(按組織自訂威脅模型判定)。組織可混合使用或單獨選擇,靈活應對。PromptIntel 資料庫則蒐集真實攻擊中使用過的提示詞,成為威脅情報的新型指標。MCP/Skill 掃描工具則在安裝前檢驗第三方元件,降低供應鏈風險。
墨西哥政府遭 Claude 攻擊案例揭示了智能體成為攻擊工具的現實。攻擊者無需自建工具,只需透過精心設計的提示詞指揮現成的 AI 代理完成偵查、橫向移動、資料蒐集與外洩。因此提示詞與智能體的執行動作成為新一代威脅情報指標。為監控智能體是否遭提示詞注入或越權執行,Security Break 展示了運用 Jamba 模型進行行為漂移檢測的方案。Jamba 不僅成本為常規模型的 1/200、執行速度極快(不拖累代理效能),還可定義多層評估標準(如是否被注入指令、是否外洩資料、是否使用未授權憑證),输出漂移機率與風險等級。這使得組織能在低成本前提下,實時監控代理行為異常。


