KeyFrame內部研究專用

[un]prompted.au 2026 - Confusing CNNs on NPUs with LLMs using FI; or... - Jasper van Woudenberg

Unprompted au28 min英文
觀看原始影片

三句話摘要

用故障注入攻擊邊緣AI設備的物件辨識系統,並利用LLM優化攻擊參數的方法論與實驗結果。 給LLM清晰的感知、控制與可測量目標,它能在複雜硬體參數空間中高效探索;但模型選擇與基準測試同樣關鍵,因為能力水位與指令設計的交互效果難以預測。 故障注入通過短暫降低芯片電壓使位元反轉,是攻擊AI系統的有效物理層手段。講者用電磁探針與電壓故障生成器,在CNN執行的特定時段(特別是Neck與Head層)注入故障,能改變信心分數、產生虛幻物體或使真實物體消失;追蹤演算法無法復原,還會將錯誤擴散至多幀。

重點整理

  1. 故障注入通過短暫降低芯片電壓使位元反轉,是攻擊AI系統的有效物理層手段。講者用電磁探針與電壓故障生成器,在CNN執行的特定時段(特別是Neck與Head層)注入故障,能改變信心分數、產生虛幻物體或使真實物體消失;追蹤演算法無法復原,還會將錯誤擴散至多幀。

  2. 手動參數搜尋效率低下;改用雙層LLM架構——Supervisor LLM維持系統穩定性與監控感應器,Optimizer LLM負責探索故障參數空間。Optimizer展現出診斷能力,能自主SSH反向工程二進制、發現遺漏的GPIO觸發訊號、修改延遲代碼並上傳驗證。

  3. 模型與指令的搭配效果無法預測。Sonnet模型(高能力)加上工具包和劇本反而成本上升;Haiku模型(低能力)缺乏指引時低效,但加上指令後效率劇增。必須針對不同模型進行基準測試,納入成本與信心區間。

  4. AI既是攻擊工具也是防禦工具。防禦可多層實施:硬體層增加故障感測器、軟體層檢測異常物體(如突然出現千個物體、全屏熱狗圖案)和追蹤不一致,同樣可用AI輔助。

實用技巧與重點

  • 實驗設備:
  • Rockchip開發板搭NPU加速器
  • 故障注入參數:電壓、脈衝長度、注入時機
  • 電磁探針、示波器、GPIO觸發線
  • 5pi軟體(故障注入框架)
  • CNN架構與攻擊目標:
  • Backbone(輸入層,故障容忍)→ Neck(中層)→ Head(輸出層,高價值)
  • 最佳攻擊目標:Neck與Head層
  • 實驗數據:
  • 信心分數異常發生率:77.1%
  • 虛幻物體類別:熱狗、皮包、滑板等
  • 系統未崩潰率:高(容錯性強)
  • 首次故障發現時間:1.5~7小時,標準差大
  • LLM基準測試:
  • 對比模型:Sonnet、Haiku
  • 評估指標:達99%信心成本(美元期望值)
  • 參數空間:電壓-脈衝長度-時機三維搜尋
  • 防禦機制:
  • 攝像頭監控LED狀態(偵測掉電)
  • 異常物體檢測演算法
  • 追蹤一致性驗證
  • 參數圍欄強制(Supervisor監督)

結論

給LLM清晰的感知、控制與可測量目標,它能在複雜硬體參數空間中高效探索;但模型選擇與基準測試同樣關鍵,因為能力水位與指令設計的交互效果難以預測。

完整解析

現代邊緣AI物件辨識系統典型分為四層:攝像頭採集 → CPU前處理(縮放與正規化)→ NPU推理(CNN繪製邊界框與信心分數)→ 追蹤演算法跨幀縫合。講者所在團隊發現故障注入——通過短暫降低芯片供電使位元翻轉——在NPU層造成出人意料的破壞效果。

攻擊機制的核心在於時機精度。CNN架構分三部分:Backbone處理原始影像(故障容忍性高),Neck與Head輸出邊界框與類別(高價值、易受故障影響)。團隊通過GPIO觸發線標記CNN計算窗口,用電磁探針與電壓故障生成器在此精確時段注入故障。手動參數搜尋需繪製電壓-脈衝長度二維热圖,尋找「綠-黃邊界」(正常-異常的臨界區)——這涉及電壓強度、脈衝長度、注入時機三個維度的盲目搜尋。

手動方法極其低效,促使團隊引入LLM。創新架構為雙層代理:Supervisor LLM通過LED監控、感應器讀取、繼電器重啟,確保系統不永久崩潰;Optimizer LLM在Supervisor設定的安全邊界內探索參數。Optimizer展現出超預期的能力,不僅優化參數,甚至能假設GPIO觸發遺漏、自主SSH連線、下載二進制、反向工程並修改延遲代碼、重新上傳驗證——解決了工程師們未預見的問題。

實驗結果可靠但波動大。在PIN驗證目標上,LLM數小時內尋獲漏洞;在邊界掃描上,成功率高但首次發現時間差異極大(1.5~7小時)。關鍵發現是模型選擇的非直觀性:Sonnet(高能力模型)對額外指令反應遲鈍,工具包與劇本反而增加上文負擔,成本反升;Haiku(低能力模型)缺乏指引時效率低落,但一旦加上指令立即效率劇增。這提示實踐者不應盲信「更好的模型」,必須逐個基準測試成本與信心區間。

防禦側,講者建議在軟體層檢測異常(物體數突增、類別重複)與追蹤一致性,硬體層則增加故障感測器。AI作為防禦工具與攻擊工具對稱可行。

32 min
AI 安全英文10月20日

[un]prompted.au 2026 - Human in the Loop, Ghost in the Shell... - Ash Fox

Unprompted au看原片 ↗
  • 攻擊者採用 AI 的三個維度:精密度增加(複雜技能從昂貴資源變為按需模型)、規模擴張(不再受人力限制)、速度加快(代理快速導航與決策)。但不同攻擊者類型有差異——需要隱蔽性的特務活動不太可能部署代理,而大規模無差別的勒索軟體運營者更可能採用
  • 紅隊代理需兼顧有效性與可信性:不僅要能找到漏洞和執行攻擊,更要表現得像真實攻擊者(適當隱蔽性、專業作業規範),避免洩露憑證、破壞系統、超出測試範圍等不當行為。
31 min
AI 技術英文10月20日

[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh

Unprompted au看原片 ↗
  • 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
  • 系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
18 min
Web2 安全英文10月20日

[un]prompted.au 2026 - How Agentic SAST Decodes Business Context to Hunt Privilege Esc. - Sylvia Xu

Unprompted au看原片 ↗
  • 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。
  • LLM能語義化理解代碼含義,區分身份驗證邏輯與其他檢查;但存在不確定性、上下文溢出與幻覺問題。解決方案是用決定性Python代碼來驗證LLM輸出、控制上下文流、蒐集人工反饋。