KeyFrame內部研究專用

TryHackMe Understanding AI Supply Chains Walkthrough | AI Security | 2026

Djalil Ayed·4月22日週三·22 min英文

三句話摘要

AI 供應鏈的攻擊面:從模型到基礎設施,理解 AI 系統中的信任鏈斷裂如何被攻擊者利用。 AI 供應鏈攻擊最致命之處不是技術漏洞,而是信任的沉默——你相信的每個環節都可能已被入侵,直到痛苦發生才會發現。 AI 供應鏈本質不同於軟體供應鏈:軟體供應鏈主要是程式碼與套件依賴;AI 供應鏈涵蓋預訓練權重、神經網路架構、訓練資料、量化過程等多個序列化層面,每一層都可被篡改。

重點整理

重點
  • 1

    AI 供應鏈本質不同於軟體供應鏈:軟體供應鏈主要是程式碼與套件依賴;AI 供應鏈涵蓋預訓練權重、神經網路架構、訓練資料、量化過程等多個序列化層面,每一層都可被篡改。

  • 2

    轉移學習放大攻擊範圍:攻擊者若在基礎模型(Foundation Model)植入後門,後續所有基於該模型微調(Fine-tuning)的應用——客服、程式審查、醫療診斷——都會被全面入侵,而不只是單一應用。

  • 3

    攻擊層級清晰但防守不完整:模型層(序列化物件、架構邏輯)、依賴層(套件庫)、資料層(資料投毒)、基礎設施層(倉庫帳號、CI/CD 管線)各有獨立威脅,但現有自動掃描對所有層級的防護都不完整。

  • 4

    信任才是最大弱點:攻擊模型看起來完全合法——專業頁面、數千次下載、成功執行任務——攻擊代碼在載入時無聲執行,異常網路連線可能數週後才被發現,受害者根本看不見威脅發生。

實用技巧與重點

乾貨
  • 真實事件案例:
  • Incident 1 (Dec 2022):PyTorch 依賴的 `torch_train` 套件 — 攻擊者利用 pip 版本解析漏洞,上傳同名套件騙過安裝,包含 SSH 金鑰與設定密碼
  • Incident 2 (Nov 2023):Hugging Face 發現 100+ 模型暴露 API 令牌,其中五個擁有完整權限
  • Incident 3 (Dec 2024):UltraLytics 構建管線遭入侵,攻擊者竄改 GitHub Actions 工作流
  • Incident 4 (Web3):Solana 包:攻擊者維持 npm 帳號認證,發佈後門版本,盜竊加密貨幣私鑰,損失 11-110 萬美元,偵測前僅持續數小時
  • Incident 5:Hugging Face 研究發現故意損毀的 pickle 檔案能繞過自動安全掃描
  • 模型檔案格式與風險:
  • `.pkl` / `.pt` / `.gguf` / `.h5`:二進位格式,可序列化任意 Python 物件
  • `.safetensors`:文字格式,降低執行任意程式碼的風險
  • GGUF:本地 LLM 主流格式(Llama、Mistral、Qwen),通常量化壓縮後以減小體積
  • 攻擊四層:
  • 模型層:序列化層面、架構邏輯、權重毒害
  • 依賴層:套件庫與 transitive dependencies(傳遞性依賴)
  • 資料層:替換 0.1% 訓練資料可植入無法察覺的後門
  • 基礎設施層:倉庫帳號入侵、CI/CD 管線竄改、維護認證洩露

結論

結論

AI 供應鏈攻擊最致命之處不是技術漏洞,而是信任的沉默——你相信的每個環節都可能已被入侵,直到痛苦發生才會發現。

完整解析

詳細

AI 供應鏈攻擊之所以特別危險,源於一個簡單事實:你每次使用他人訓練的模型或下載第三方 AI 產品時,都在信任一條完整的來源鏈。這條鏈包含你從未驗證過的決策、你無法追蹤的人員、你無法控制的系統。

傳統軟體供應鏈的攻擊人們已經習以為常。2020 年的 SolarWinds 事件就是典型:攻擊者侵入 Orion 建置流程,在官方更新中注入後門,導致數千個系統被入侵。但 AI 供應鏈則差異巨大。傳統軟體主要是程式碼與套件;AI 模型是一個複雜的序列化物件——包含預訓練權重、神經網路架構、經過量化壓縮的參數——任何一層都能被篡改。2024 年的研究在 Hugging Face 發現超過 100 個看起來完全正常的模型,擁有專業文件、數千次下載紀錄、完美執行任務,但在載入時會無聲打開反向 Shell 連接到攻擊者伺服器。

更危險的是轉移學習的放大效應。大多數開發者不會從零訓練模型,而是下載預訓練的基礎模型(Foundation Model),透過微調(Fine-tuning)調整為特定任務——客服、程式審查、醫療診斷。若基礎模型中植入後門,那所有基於它微調的應用都會被全面入侵,不只是單一產品。這就是為何 LoRA(一種輕量微調技術)雖然便利,卻放大了供應鏈風險:小的適配器檔案疊在被污染的基礎模型上,攻擊者無需重複行動就能毒害整個生態。

AI 供應鏈的攻擊表面分為四個清晰的層級。模型層涵蓋序列化攻擊(pkl、unsafe deserialize)、架構邏輯竄改、權重投毒;依賴層則是模型運行依賴的套件庫,包括隱藏的傳遞性依賴(transitive dependencies),開發者通常根本不知道安裝了什麼;資料層是訓練資料投毒——研究已證明替換 0.1% 的訓練資料就能植入可靠的後門,而精度對乾淨資料完全沒有影響;基礎設施層則包括模型倉庫帳號洩露、CI/CD 管線竄改、維護者認證盜竊。

真實事件如雨後春筍。Solana 的 npm 套件事件中,攻擊者持有帳號認證,發佈後門版本盜竊加密貨幣私鑰,損失高達 110 萬美元,但在被偵測前僅持續幾小時。PyTorch 的依賴事件則利用 pip 版本解析邏輯漏洞,上傳同名套件騙過安裝系統。Hugging Face 的大規模暴露則顯示 API 令牌未加保護。最陰險的是 Reversing Labs 的發現:故意損毀的 pickle 檔案竟能繞過 Hugging Face 的自動安全掃描,而載入時仍執行任意程式碼。

防守則困難得多。自動掃描無法涵蓋所有層級,模型檔案格式差異(pkl 比 safetensors 危險得多)增加複雜性,而最根本的威脅是信任本身。那些被入侵的模型看起來完全合法——模型詳情頁面專業、下載數眾多、執行任務無誤——攻擊代碼無聲執行,異常的網路連線可能數週後才被發現。攻擊者不需要破開防線,只需要利用你已經給予的信任。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。
Black Hat Asia 2026 | IntentGuard: Securing LLM-Generated Cloud Configurations
40 min
AI 安全英文8月18日

Black Hat Asia 2026 | IntentGuard: Securing LLM-Generated Cloud Configurations

Black Hat

  • 1. 基礎設施程式碼成為提示注入的隱形載體
  • 攻擊者可以在 CloudFormation、Terraform 等模板的註釋、環境變數預設值、引數名稱中植入指令,當 LLM 讀取這些模板生成新配置時,攻擊意圖會被隱形執行。這種攻擊能繞過傳統掃描器,因為最終輸出看似合規。
  • 2. 傳統掃描器的根本盲點:只看孤立配置,不看意圖一致性