KeyFrame內部研究專用

How can Pixels DOS an AI | Video LLM Token Flood Explained in 5min | @AI-Red-Teaming

Red Teaming AI·5月27日週三·5 min中文

三句話摘要

一個僅 48×48 像素的惡意圖像可透過「VidDOS」攻擊讓視頻語言模型(VideoLM)陷入無限 token 輸出循環,造成系統凍結與嚴重延遲。 一張 48×48 像素的惡意圖像就能讓 VideoLM 系統凍結逾 2.7 秒,VidDOS 攻擊揭示了視覺語言模型在高風險部署場景中的結構性安全盲點,防禦刻不容緩。 攻擊觸發機制極為輕量:攻擊者只需在影片中嵌入一個肉眼幾乎不可見的 48×48 像素圖像,即可劫持 AI 的注意力機制,使其陷入無法中斷的 token 洪流,這正是其隱蔽性最高的特點。

重點整理

重點
  • 1

    攻擊觸發機制極為輕量:攻擊者只需在影片中嵌入一個肉眼幾乎不可見的 48×48 像素圖像,即可劫持 AI 的注意力機制,使其陷入無法中斷的 token 洪流,這正是其隱蔽性最高的特點。

  • 2

    危害量化數據驚人:單次攻擊可讓 AI 產生超過正常量 200 倍的輸出 token,處理時間增加逾 15 倍,最終造成 2.7 秒以上的系統凍結,遠超任何安全系統的可接受延遲上限。

  • 3

    自動駕駛場景下後果等同災難:在公路速度行駛的自駕車中,2.7 秒的感知凍結足以讓系統錯失攸關生死的決策窗口;這不是「效能下降」,而是系統完全失能。

  • 4

    問題根源在 VideoLM 架構本身:研究人員指出此漏洞並非特定模型的 bug,而是 VideoLM 處理視覺資訊時的結構性弱點,意味著同類架構的所有模型皆面臨同樣風險。

實用技巧與重點

乾貨
  • 攻擊名稱:VidDOS(Video Denial of Service,視頻拒絕服務攻擊)
  • 攻擊載體尺寸:48 × 48 像素圖像
  • 正常回應 token 數:約 1 個(例如單字「No」)
  • 攻擊後輸出 token 數:超過 500 個無意義 token
  • token 輸出倍增量:超過 200 倍
  • 處理時間倍增量:超過 15 倍
  • 實測系統延遲:2.7 秒以上
  • 攻擊效果:阻止後續影格處理、觸發安全限制、系統功能完全中斷
  • 受影響範圍:任何以相同方式進行視覺資訊處理的 VideoLM 架構

結論

結論

一張 48×48 像素的惡意圖像就能讓 VideoLM 系統凍結逾 2.7 秒,VidDOS 攻擊揭示了視覺語言模型在高風險部署場景中的結構性安全盲點,防禦刻不容緩。

完整解析

詳細

現代 AI 代理人系統,尤其是整合了視覺感知能力的 VideoLM,正被廣泛部署在需要即時決策的高風險場景中,例如自動駕駛車輛。這類系統必須在毫秒之間感知環境、理解情境並做出反應,任何延遲都可能轉化為真實的安全事故。然而,研究人員發現了一種名為「VidDOS」(Video Denial of Service)的攻擊手法,能以極低的成本、極小的載體,讓這類系統完全癱瘓。

VidDOS 的核心武器出乎意料地簡單:一張僅 48×48 像素的圖像,悄悄嵌入影片邊緣,肉眼幾乎無法察覺。這張圖像的設計如同一個「注意力磁鐵」,一旦 VideoLM 的視覺處理流程掃描到它,就會觸發一種被稱為「token 洪流(token flood)」的現象。AI 的語言生成模組被強行鎖定在這個區域,開始無止境地輸出毫無意義的 token 序列,且由於攻擊圖像的特殊設計,系統無法透過任何簡單機制自行中斷這個過程。

實驗數據清晰展示了其破壞力。一個正常的視覺問答任務,例如詢問系統「這裡是否需要緊急操作」,通常會得到一個單字回應。但在攻擊觸發後,同樣的問題卻引發超過 500 個無意義數字與字元的輸出洪流,整體 token 生成量超出正常水準 200 倍。這些多餘的計算工作直接拖垮了系統管線:處理時間增加超過 15 倍,最終造成 2.7 秒以上的系統凍結。對於以公路速度行駛的自駕車而言,2.7 秒意味著數十公尺的盲區行駛,遠遠超出任何安全規範的容忍上限,後果不是效能警告,而是潛在的人命事故。

更令人憂慮的是,研究人員指出這並非某個特定模型的實作缺陷,而是 VideoLM 架構在處理視覺 token 時的結構性脆弱點。這意味著,只要採用相似視覺資訊處理方式的模型,理論上都可能遭受同樣的攻擊,攻擊面因此從單一系統擴展至整個 VideoLM 生態系。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist
168 min
AI 安全英文PODCAST8月25日

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

Security Now

  • Token 流的基礎設計:LLM 不具備狀態管理能力,所有輸入都被視為等值的 token 序列。系統無法區分「這是系統指令」和「這是外部資料」,只能依靠訓練期間習得的格式識別能力,這本質上是脆弱的。
  • 格式標籤的虛幻邊界:系統標籤、使用者標籤、工具標籤等都只是特殊 token,模型被訓練成「該尊重系統標籤的命令」,但 token 流裡沒有硬性邊界。移除標籤格式後,攻擊成功率從 61% 跌至 10%,證明安全性完全依賴於格式。
  • 蒸餾與超級模型現象:企業用較成熟模型的輸出訓練新模型(蒸餾),相當於把前一代模型的行為與缺點複製給下一代。即使競爭對手未直接存取,互聯網上充滿 AI 生成內容,導致模型行為自然收斂,難以追蹤蒸餾是否發生。
Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。