Black Hat USA 2025 | Evaluating Autonomous Vehicle Resilience
三句話摘要
Zoox 如何用模糊測試（Fuzzing）對自動駕駛遠端操作系統進行惡意指令的彈性壓力測試。 將模糊測試應用於自動駕駛遠端操作指令，能自動發現人工測試幾乎不可能觸達的時序相依 Bug，是讓 AI 安全能力隨場景規模擴張的關鍵工程實踐。 遠端操作不是人類駕駛，而是 AI 的顧問系統：人類操作員不接管方向盤，只傳送路點建議，AI 全程保有車輛控制權並自行判斷是否採納，這使得操作指令本身成為一個新的攻擊面。
重點整理
重點- 1
遠端操作不是人類駕駛，而是 AI 的顧問系統：人類操作員不接管方向盤，只傳送路點建議，AI 全程保有車輛控制權並自行判斷是否採納，這使得操作指令本身成為一個新的攻擊面。
- 2
模糊測試框架從真實駕駛數據生成場景種子：系統將車輛位置、操作指令類型、周圍車流軌跡等關鍵特徵萃取成可重現的基礎場景，再透過「遠端操作參數（TV Parameters）」對路點做橫向或縱向偏移，生成大量變異版本，讓測試覆蓋手動無法窮舉的邊角案例。
- 3
模糊測試能發現隱藏的、條件依賴的 Bug：案例二的倒車交叉口碰撞，根因是預測模組中一個只在特定時序與多車軌跡組合下才觸發的細微 Bug，純手動測試幾乎不可能找到。
- 4
每個碰撞案例都觸發完整的改善閉環：發現問題後，工程團隊分析行車日誌、定位根因、重新訓練決策邏輯，改善後的能力不只適用於當前場景，也泛化至類似的一般場景，整體 AI 因此變得更強健。
實用技巧與重點
乾貨- 公司：Zoox（在拉斯維加斯 Strip 上運營的 Robotaxi）
- 測試環境：全部在模擬環境（Simulation）或嚴格受控環境中進行，非公開道路
- 資料規模：數百萬英里真實行駛日誌作為種子來源
- 自動生成變異場景數量：超過 50,000 個 mutants，且持續增加
- 測試場景類型：停車場併入車流（Merging from Parking）、路口倒車（Reverse at Intersection）、右轉中緊急停車（Right Turn + Emergency Stop）
- 遠端操作參數（TV Parameters）：控制路點的橫向（lateral）與縱向（longitudinal）偏移量、倒車時機、倒車目標位置、緊急停車觸發點
- 發現的 Bug 類型：預測模組（Prediction Module）中的時序 Bug，需特定多車軌跡組合才觸發
- 修復方式：分析行車日誌 → 根因分析 → 重新訓練決策邏輯 → 重驗證
- 下一步擴展方向：對感知模組（Perception）注入稀有/失真感測器輸入；對規劃模組（Planner）模糊測試高風險行為（如急加速強行切入）
- 工具架構：Fuzzer → 模擬環境（含完整自動駕駛軟體堆疊）→ 監控系統 → 回饋 Fuzzer（黑盒模糊測試）
結論
結論“將模糊測試應用於自動駕駛遠端操作指令，能自動發現人工測試幾乎不可能觸達的時序相依 Bug，是讓 AI 安全能力隨場景規模擴張的關鍵工程實踐。”
完整解析
詳細自動駕駛並非在所有場景下都能完全自主。當 AI 遭遇複雜施工區、視線受阻的路口等高不確定性情境時，Zoox 的解法是引入遠端操作（Teleoperation）：車輛像學生舉手一樣向遠端操作中心發送請求，操作員分析畫面後回傳路點建議，AI 評估後決定是否跟隨執行。關鍵在於人類不握方向盤，AI 始終保有完全控制權——操作員是顧問，不是駕駛員。
然而這種協作架構本身就產生了新的安全風險：操作員可能犯錯，也可能被惡意利用。演講中展示了一個操作員在夜間停靠卡車旁給出過於靠近的路點，差點輾過行人；更展示了一條刻意設計的「離路指令」讓車輛前輪駛離路面（幸好路面偵測系統即時停車）。這提醒工程師：不能只為最理想條件設計，還必須準備應對最壞情況。
為了在數百到數千個真實場景中大規模驗證最惡劣邊角案例，Zoox 引入模糊測試框架。他們從數百萬英里的真實行駛資料中萃取關鍵特徵，建立可重現的「基礎場景種子」，再透過遠端操作參數（TV Parameters）對路點做橫向與縱向的程式化偏移，生成超過 50,000 個變異場景。每個變異場景在高擬真模擬環境中運行，監控系統記錄車輛是否安全通過、是否近距離擦身（near miss）、或發生碰撞，結果回饋給 Fuzzer 讓它學習如何生成更具挑戰性的下一組輸入，形成自我進化的測試迴圈。
三個具體案例揭示了這套框架的威力。停車場併入場景中，Fuzzer 歷經多輪迭代後找到一條「看起來正常但剛好繞過安全門檻」的路點，導致輕微碰撞；路口倒車場景中，更發現了一個藏在預測模組深處、只在特定多車時序組合下才觸發的 Bug，這是純手動測試幾乎不可能挖出的缺陷；右轉場景中，Fuzzer 找到了在轉彎關鍵節點插入緊急停車指令的最佳時機，造成後車追尾。每個碰撞案例都進入標準閉環：分析行車日誌 → 定位根因 → 修復並重訓決策模組 → 重驗證，且改善效果泛化至一般類似場景。Zoox 正將相同邏輯擴展到感知模組（注入失真感測器資料）與規劃模組（測試高衝擊低頻率駕駛行為），以全面強化整個 AI 軟體堆疊的彈性。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
