KeyFrame內部研究專用

SecTor 2025 | Threat Architecture, Attack Surfaces & Real-World Risk

Black Hat·5月15日週五·37 min英文

三句話摘要

Trend Micro 資安研究員從攻擊者視角,系統性拆解邊緣端 AI Agent(Agentic Edge AI)的架構與五大攻擊面。 當 AI 從聊天框走入物理世界成為自主行動裝置,五層邊緣 AI 架構的每一層都是全新攻擊面,感測器欺騙與聯邦學習投毒是目前最值得優先防禦的兩類威脅。 Agentic Edge AI 的核心是「去中心化自主決策」:系統在裝置本地運行小型語言模型,無需持續回連雲端即可完成感知→推理→行動的完整迴圈,延遲低於 100 毫秒,這使它既強大也難以集中監控。

重點整理

重點
  • 1

    Agentic Edge AI 的核心是「去中心化自主決策」:系統在裝置本地運行小型語言模型,無需持續回連雲端即可完成感知→推理→行動的完整迴圈,延遲低於 100 毫秒,這使它既強大也難以集中監控。

  • 2

    分散式部署大幅擴大攻擊面:工廠或家庭中每台 AI 機器人都是獨立的進入點,且各裝置搭載不同感測器(攝影機、LiDAR、麥克風),每種感測器都有其專屬的欺騙手法,攻擊者可按需選擇最弱的一環突破。

  • 3

    聯邦學習是高槓桿的供應鏈攻擊向量:單一惡意裝置注入帶毒的梯度更新,雲端聚合伺服器在未做異常檢測的情況下會將其平均進全域模型,再下推到整個裝置艦隊,一次攻擊造成大規模失效。

  • 4

    開發工作流本身也是攻擊目標:數位孿生環境植入、合成訓練資料污染、GPU 快取資料洩漏、推論引擎竄改——從虛擬環境到部署的每個階段都存在可被利用的弱點,而非只有運行期。

實用技巧與重點

乾貨
  • 具體數字與門檻
  • 自駕車動作決策需在 sub-100 毫秒內完成
  • 音訊仿冒只需目標 10 秒語音樣本
  • 音訊仿冒服務訂閱費約 $20 美元/月
  • 研究者預估自駕車距離量產仍需 5–10 年
  • 裝置類別(六種)
  • 家用機器人(如 Samsung Ballie)
  • 自駕車(如 Waymo)
  • 進階穿戴裝置(Apple Ultra、Meta Ray-Ban 眼鏡、AirPods 即時轉錄)
  • 智慧安防系統(攝影機 / 門鈴運行小型語言模型做人車異常分類)
  • 工業 IoT 與機器人(Boston Dynamics)
  • 國防與航太
  • 架構五層
  • 感知與感測層(攝影機、LiDAR、GPS、IMU、生物感測器)
  • 邊緣認知層(CPU / GPU / NPU 本地推論)
  • 雲端認知層(重度分析、非核心決策)
  • 學習與適應層(聯邦學習、模型個人化)
  • 動作層(馬達、伺服器、機械臂)
  • 攻擊手法清單
  • 橘色 LED 閃爍燈 → 欺騙火焰視覺模型 → 觸發灑水器/撥打 911
  • 3D 列印面具 / 對抗貼紙 → 繞過門鎖人臉辨識(2018 年實驗已驗證,2025 年問題仍存在)
  • 聯邦學習投毒:注入惡意梯度更新 → 污染全域模型 → 推送至整個裝置艦隊
  • 數位孿生植入異物(Digital Twin Sabotage)
  • 合成訓練資料隨機標籤或竊取
  • GPU 快取記憶體側信道洩漏私人資料
  • 推論引擎竄改(Inference Engine Tampering)
  • 雷射致盲攝影機(Camera Blinding)
  • 中間人攔截訓練/協調通訊
  • 工具與平台
  • Nvidia Jetson / Nvidia Isaac(邊緣 AI 開發模組)
  • Nvidia(存在於生態系所有五層)
  • OpenAI(雲端認知層)
  • LLM 演化關鍵節點:BERT(2018)、GPT-3(2020)、GPT-3.5(2022/11)、GPT-4V(2023/09)、Agentic AI(2024)
  • 緩解措施
  • 多感測器融合(溫度 + 煙霧 + 視覺,不單一依賴)
  • 緊急動作須保留人工審核(Human-in-the-Loop)
  • 聯邦學習異常檢測(防單一裝置污染全域模型)
  • Secure Boot + 簽名韌體 + 端對端加密
  • 分層存取控制
  • 不可變容器映像 + S-BOM(軟體物料清單)
  • 對抗性機器學習訓練(Adversarial Robust ML)

結論

結論

當 AI 從聊天框走入物理世界成為自主行動裝置,五層邊緣 AI 架構的每一層都是全新攻擊面,感測器欺騙與聯邦學習投毒是目前最值得優先防禦的兩類威脅。

完整解析

詳細

Trend Micro 前瞻威脅研究團隊的研究員在本次演講中首先提出一個精確定義:Agentic Edge AI 是一種「邊緣優先架構」,在本地裝置上運行小型語言模型,由本地編排器負責分解目標、分配任務給專屬 AI 代理,並在毫秒級完成感知→推理→行動的閉環,即使完全離線也能正常運作。他以 Samsung Ballie 機器人為例:只要說一句「去找狗在幹嗎」,機器人就會自主規劃路徑、避障、視覺比對,最後發訊息回報——整個過程沒有人告訴它每一步怎麼走。這種架構的演化脈絡從 2018 年 BERT、2022 年 ChatGPT 問世,到 2024 年 Agentic AI 成熟,正從「對話介面」快速延伸到物理世界的自主行動裝置。

在架構層次上,系統可分為五層:感知層捕獲影像、音訊、深度資料;邊緣認知層在本地 CPU/GPU/NPU 上解讀感知資料;雲端認知層僅處理需要重度運算的邊緣案例;學習層透過聯邦學習持續改善模型(例如掃地機器人越用越懂家裡格局);最後是動作層驅動馬達、機械臂等執行器。研究者試圖親自採購 Nvidia Jetson 模組開發原型,卻發現開發工作流遠比想像複雜:必須先建數位孿生環境、生成合成訓練資料、訓練模型、仿真驗證,才能部署到實體裝置,而這每一個階段都是潛在攻擊面。

演講的核心是三個具體攻擊情境。第一個:用廉價橘色 LED 閃爍燈對準家用巡邏機器人的攝影機,視覺模型誤判為火焰,觸發灑水系統並撥打 119,根本原因是單一感測器決策;防禦對策是多感測器融合(視覺 + 溫度 + 一氧化碳),並在緊急動作前保留人工確認。第二個:2018 年研究者真實驗證戴上 3D 列印面具即可騙過某品牌智慧門鎖,2025 年同類攻擊仍有效,因為視覺模型「看臉」的方式與人類不同,若攻擊者知道演算法,只需對抗性貼紙或特殊眼鏡就能騙過比對邏輯,進而解鎖並關閉警報系統。第三個是聯邦學習投毒:攻擊者在單一智慧手錶上注入含惡意梯度的模型更新,雲端聚合伺服器若缺乏異常偵測,會將其混入全域模型平均值,最終下推到整個裝置艦隊,導致所有裝置的模型精度下降,屬於一打多的供應鏈攻擊。

最後在緩解策略上,研究者點出一個結構性困境:Secure Boot、S-BOM、端對端加密等措施本身沒錯,但在 Vibe Coding(語音/圖片驅動自動生成程式碼)浪潮下,軟體供應鏈的組成複雜程度已超出傳統 S-BOM 的追蹤能力。他認為,當 AI 從聊天介面跳躍到在家中、工廠中自主移動的實體裝置,攻擊面本質上是動態演化的,現有防禦框架都必須跟著持續迭代,而非靜態套用。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist
168 min
AI 安全英文PODCAST8月25日

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

Security Now

  • Token 流的基礎設計:LLM 不具備狀態管理能力,所有輸入都被視為等值的 token 序列。系統無法區分「這是系統指令」和「這是外部資料」,只能依靠訓練期間習得的格式識別能力,這本質上是脆弱的。
  • 格式標籤的虛幻邊界:系統標籤、使用者標籤、工具標籤等都只是特殊 token,模型被訓練成「該尊重系統標籤的命令」,但 token 流裡沒有硬性邊界。移除標籤格式後,攻擊成功率從 61% 跌至 10%,證明安全性完全依賴於格式。
  • 蒸餾與超級模型現象:企業用較成熟模型的輸出訓練新模型(蒸餾),相當於把前一代模型的行為與缺點複製給下一代。即使競爭對手未直接存取,互聯網上充滿 AI 生成內容,導致模型行為自然收斂,難以追蹤蒸餾是否發生。
Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。