KeyFrame內部研究專用

Who let the AI hack? [Research Saturday]

CyberWire Daily23 min英文
觀看原始影片

三句話摘要

攻擊者進化LLM劫持手法,從盜用AI運算資源進階到利用被盜的LLM構建完整進攻工具。 自托管AI基礎設施若缺乏基本安全防護(認證、存取控制、監控、成本告警),將淪為攻擊者廉價的高端運算資源,支持他們開發日益複雜的進攻工具。 LLM劫持的兩年演進軌跡:最初攻擊者只是測試被盜的LLM能否運作,後來開始主動探測環境中有哪些模型,再進一步在受害環境內部署自己的LLM。到了2025年底,黑市已將此工業化,出現專門買賣被盜LLM存取權限的犯罪業務模式。

重點整理

  1. LLM劫持的兩年演進軌跡:最初攻擊者只是測試被盜的LLM能否運作,後來開始主動探測環境中有哪些模型,再進一步在受害環境內部署自己的LLM。到了2025年底,黑市已將此工業化,出現專門買賣被盜LLM存取權限的犯罪業務模式。

  2. 從資源浪費到工具開發的質變:初期攻擊者用被盜LLM寫程式碼、論文、作業(因為正版模型極貴),但最新案例中攻擊者已用被盜資源構建完整的進攻工具框架,將威脅等級大幅提升。

  3. 攻擊者的系統化研發流程:他們用被盜資源在自有實驗室與HackTheBox目標上測試AI代理,教會AI如何執行滲透測試,才計劃對真實目標發動攻擊,顯示這是有計畫的工具開發而非隨意摸索。

  4. 檢測難度與成本衝擊的不對稱性:唯一明顯異常是計算成本激增,但企業往往要到月度帳單才發現,期間損失可能已高達數千美元;而且AWS支出限額是軟性的,攻擊者可在限額觸發前就造成大筆費用。

實用技巧與重點

  • 成本數據:高端代理模型高達$50,000/天;個人用戶被攻擊數小時內損失$6,000;Bedrock服務被盜用
  • 被盜模型:Ollama伺服器(無認證暴露)、Bedrock、各類HuggingFace模型
  • 攻擊完整流程:NMAP掃描 → 正規化結果並提示尋找已知漏洞 → 網頁應用偵察 → PoC開發 → 權限提升 → 認證盜竊 → 自動化整合
  • 隱匿手段:以滲透測試名義繞過LLM防護欄、使用越獄模型、在自有lab測試後才攻擊真實目標
  • 黑市動態:2025年底出現「LLM劫持黑市」,販賣被盜LLM存取權限
  • 檢測工具/概念:AIBom(AI物料清單)、AWS支出告警、審計日誌監控

結論

自托管AI基礎設施若缺乏基本安全防護(認證、存取控制、監控、成本告警),將淪為攻擊者廉價的高端運算資源,支持他們開發日益複雜的進攻工具。

完整解析

LLM劫持這個威脅從2024年春季被Sysdig研究團隊首次發現至今,已經演進成一個成熟的攻擊產業。一開始,攻擊者入侵被害企業後發現有LLM服務,只是出於好奇測試一下能否運作。經過兩年的演進,攻擊者開始主動探測環境中存在哪些模型,甚至在受害者環境內自行部署LLM。到了2025年底,情況已經完全改變——出現了專門的黑市,犯罪分子發現被盜的LLM存取權限後直接販賣,標價明確,買家可以像訂閱服務一樣使用。

為什麼這個威脅會有吸引力?因為大型語言模型異常昂貴。高端代理模型的日常使用成本可達五萬美元,這對攻擊者而言是巨大的開銷。偷來的計算資源則完全免費。最初攻擊者用被盜模型做一些低價值的事——寫寫程式碼、代寫論文、完成家庭作業。但在最新的一次案例中,攻擊者的行為質變了:他們用被盜的Ollama伺服器構建一套完整的進攻框架。

這套框架能做什麼?攻擊者會先用NMAP掃描受害網絡,把結果輸入到LLM,要求它「正規化這些掃描結果並列出最可能的已知漏洞」。LLM會基於掃描數據進行分析和推理。接著攻擊者用同樣的方式進行網頁應用偵察、構建漏洞PoC、執行權限提升、竊取認證資訊,整個滲透測試流程全部自動化整合在一起。所有的計算與推理都發生在被盜的資源上,攻擊者只需要編排整個流程。

特別有趣的是,攻擊者的做法非常務實——他們並未直接對真實受害者發動攻擊。而是在自己的實驗室與HackTheBox這類滲透測試練習平台上反覆測試這套工具,讓AI代理學會如何成功執行滲透測試任務,才計劃推向真實目標。這表明他們在進行有計畫的工具開發,而不是隨意試驗。同時,攻擊者還嘗試了多種模型——從便宜的Ollama,到各類越獄模型,再到HuggingFace上的特定用途模型——在尋找最適合的工具組合。

檢測這類攻擊有個重大問題:唯一明顯的異常就是計算成本突然激增。一位個人用戶在2024年的案例中,因為設定了AWS支出告警,在幾小時內損失了$6,000後才被通知。但許多企業不會每小時檢查開支,往往要等月度帳單才發現被劫持。而且AWS的支出限額是軟性限制,不是硬門檻——攻擊者可以在限額觸發前就造成遠超預算的費用,企業通常要為這些超額埋單。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。