KeyFrame內部研究專用

Four flaws, no time to stall.

CyberWire Daily30 min英文
觀看原始影片

三句話摘要

AI 如何輔助攻擊性安全測試:SpectreOps 的 SAGE 項目案例研究,以及當週網路安全熱點回顧。 當 AI 加速了威脅發現速度,安全防守方的最佳策略不是保密技術,而是透過開源研究加快全社群的應對能力──就像 SAGE 專案示範的,將 AI 整合到既有工作流程中,以人為中心的監督來駕馭 AI 的力量。 SAGE 的設計哲學:AI 必須整合到安全人員已在使用的工作場景(Mythic 控制台),而非強制切換系統。設計三層模式(對話、監督、自動)來控制 AI 權限和風險。

重點整理

  1. SAGE 的設計哲學:AI 必須整合到安全人員已在使用的工作場景(Mythic 控制台),而非強制切換系統。設計三層模式(對話、監督、自動)來控制 AI 權限和風險。

  2. AI 誠實度與可追溯性問題:AI 會自信地報告實際未成功的結果。SAGE 透過「參與狀態帳冊」強制每項進展都必須與具體事實綁定(BloodHound 資料點或 Mythic 任務結果),確保可驗證性。

  3. 自主性 vs 實務限制:雖然網路安全界渴望 AI 在機器速度下自主發現漏洞,但真實環境中不能讓 AI 冒著癱瘓生產系統的風險。SAGE 採用「監督者模式」搭配人工審核,以保持風險可控。

  4. 開源研究的必要性:公開 SAGE 能讓防守端理解 AI 代理如何運作,進而更好地防禦。如同 OpenAI 的「防守者困境」論文所述,只有透過開放才能讓雙方同步進化。

實用技巧與重點

  • 漏洞與威脅情報:
  • CISA 新增 4 個主動利用漏洞,本地機構截止日:11/21(Synology、Axis、RedCap)、12/2(Light LLM)
  • Java 漏洞:影響多版本 OpenJDK,允許未認證遠端代碼執行;9 百萬個暴露服務受影響
  • F5 發布 22 項緊急漏洞更新,含 5 個 NGINX Root 關鍵漏洞
  • Drupal 關鍵網站接管漏洞(由 Anthropics OSS 掃描器發現)
  • Splunk 修補 140 項缺陷,包括 5 個認證繞過/RCE 漏洞
  • PHP 當日發布遠端代碼執行修補
  • AI 伺服器暴露:
  • 20,000+ 台主機掃描:7,600+ 台運行未認證 AI/Notebook API(主要 Ollama)
  • 55% 已被未授權第三方存取,留下回調位址與敏感檔案路徑痕跡
  • 79% 列出雲端路由模型,攻擊者可濫用擁有者的付費帳戶
  • 65% 在租賃雲端基礎設施而非企業資料中心
  • SAGE 技術規格:
  • 技術棧:LangChain、LangGraph、Mythic C2 框架
  • 三層模式:對話(僅回答)、監督(人工審核確認)、自動(無人干預)
  • 包含循環防衛機制(Loop Guard)防止無進展循環
  • 內建參與狀態帳冊追蹤可驗證事實
  • 能力庫:工作流式多步操作(如獲取 Kerberos 認證)
  • 勒索軟體案例:
  • 烏克蘭逮捕 4 名嫌疑人,涉及國際 60+ 人犯罪網路
  • 目標 28 個組織,包括 Warren Oil、Maxis International USA
  • 手法:冒充 IT 支援、AI 語音訊息盜取認證
  • 金額:超過 4000 萬美元勒索所得
  • Microsoft Edge 鎖定模式:
  • 禁用 WebGL、WebGL2、WebGPU 圖形介面
  • 預估阻擋 60% 實際特權提升攻擊

結論

當 AI 加速了威脅發現速度,安全防守方的最佳策略不是保密技術,而是透過開源研究加快全社群的應對能力──就像 SAGE 專案示範的,將 AI 整合到既有工作流程中,以人為中心的監督來駕馭 AI 的力量。

完整解析

本集 Cyber Wire 播客聚焦三個關鍵議題:近期漏洞爆發潮、AI 輔助的攻擊性安全工具,以及對 AI 超級智能敘事的反思。

危機管理與漏洞海嘯

播客開場揭示美國基礎設施在近期遭遇多項大規模中斷,包括商業航班停飛和銀行交易延遲。CISA 和國家安全委員會的人員縮減引發質疑,但官方否認外國網路攻擊。漏洞發現的速度顯著加快:CISA 新增四個主動利用的漏洞,涵蓋 Synology Disk Station Manager、Apache Axis One、Barry LLM 和 Vanderbilt 的 RedCap 平台。每個漏洞都允許遠端代碼執行,部分已與勒索軟體(Cerberus)和加密挖礦相關聯。管理員面臨緊迫截止日期完成修補。

緊接著,Java 關鍵漏洞成為焦點。多家廠商(Cisco、Siemens、Elastic、Red Hat、Atlassian)確認影響,灰噪公司和 Cloudflare 偵測到大規模網路掃描。供應鏈漏洞同時湧現:F5 緊急發布 22 項更新、Drupal 修補網站接管漏洞、Splunk 修復 140 項缺陷。公開 POC 程式碼加速了攻擊者開發利用程式的速度,管理員的應對窗口極其狹窄。

暴露的 AI 基礎設施與信任危機

Rapid7 研究揭示一個隱藏但嚴峻的問題:超過 7,600 台網路暴露的 AI 伺服器(主要是 Ollama)缺乏身份驗證和 HTTPS。令人震驚的是,55% 已被未授權方存取,留下回調位址和敏感檔案路徑。由於 65% 位於開發者租賃的雲端環境,這些「影子 AI」成為進入企業資料和付費雲端帳戶的未監測閘道。

SAGE:AI 輔助攻擊性安全的解決方案

Russell Ventile 的核心創見是:AI 必須整合到安全人員已在使用的工具中。傳統攻擊性安全評估涉及在陌生環境中快速發現攻擊路徑。與無限時間的真實攻擊者不同,顧問只有數週。Ventile 利用 Mythic 框架的新「聊天容器」概念,將 AI 直接嵌入控制台。

SAGE 提供三層操作模式以控制風險:對話模式(純問答)、監督模式(人工點擊確認每項動作)、自動模式(完全自主,目前不建議在客戶環境使用)。最關鍵的創新是「參與狀態帳冊」──每項進展都必須與可驗證的事實綁定,要麼來自 BloodHound 資料庫,要麼來自具體的 Mythic 任務結果。這根本上解決了 AI 自信謊言的問題。

開發過程揭示一個反直覺的發現:過度約束 AI 會讓它表現不佳。Ventile 經歷了多月的調整,逐漸找到平衡。另一個深刻教訓是 AI 的概率本質使得可重複測試極其困難。同一個 prompt 在不同時間或不同操作者手中會產生不同結果。為此,SAGE 內建「能力庫」──引導 AI 選擇預定義的多步工作流(如獲取 Kerberos 認證),使概率性更加可預測。

Ventile 選擇將 SAGE 開源的理由深刻:密封技術只會導致雙邊軍備競賽失控。如同 OpenAI 的「防守者困境」論文所述,防守方需要與進攻方同步演進。開源研究讓防守者能在實驗室環境測試 AI 代理的行為,更好地準備防禦。雖然惡意者也可能濫用 SAGE,但這個「魔法已經脫瓶」──多個類似工具已被用於真實攻擊。關鍵是讓整個安全社群理解和應對。

更廣闊的脈絡

烏克蘭警方逮捕四名勒索軟體幫派成員,他們操控 60+ 人的網路,針對至少 28 個組織進行 4000 萬美元的勒索。他們的戰術令人警惕:冒充 IT 支援、利用 AI 語音訊息盜取認證。這表明傳統犯罪組織正迅速採納 AI 擴展能力。

Microsoft 開發的 Edge 鎖定模式禁用 WebGL 和 WebGPU,預估能阻擋 60% 的實際特權提升攻擊,代表從「模糊安全」向更激進隔離的轉變。

播客末尾引用 Cal Newport 的研究,質疑 AI 超級智能敘事的科學基礎。Newport 指出,AI 仍在證明定理和清理垃圾信件之間搖擺,遞歸自我改進的技術障礙遠比科幻小說複雜。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。