KeyFrame內部研究專用

DEF CON 33 - BiC Village - How AI Is Revolutionizing Phishing Attacks & Defenses - Levone Campbell

DEFCONConference·10月22日週三·32 min英文

三句話摘要

AI 如何同時增強網路釣魚攻擊與防禦能力,組織應如何應對這場雙邊軍備競賽。 AI 正在加速釣魚攻擊與防禦能力的同步進化,組織若不立即採用多層防禦、工具與人類訓練相結合的策略,將面臨被新型複雜攻擊突破的風險。 AI 賦予攻擊者精準打擊能力

重點整理

重點
  • 1

    AI 賦予攻擊者精準打擊能力

  • 2

    講者透過實際演示說明:利用 ChatGPT 分析目標的 LinkedIn 資料只需 3 分鐘,即可生成高度個人化的釣魚郵件。AI 不僅自動化了這個過程,還能持續適應:改變措辭、調整鏈接、變換郵件長度,躲避檢測工具。Hawk 研究顯示 AI 生成釣魚郵件的失敗率低至 2.9%,遠優於人類。

  • 3

    傳統防禦方法已然失效

  • 4

    曾經有效的檢測特徵——拼寫錯誤、語法缺陷、空格異常——在 AI 生成的郵件中蕩然無存。多態性技術讓攻擊者能在瞬間生成同一內容的多個變體,傳統工具無法跟上變化速度。傳統釣魚演變過程是:通用垃圾郵件 → 矛槍式攻擊 → 冒充執行官 → 商業郵件妥協 (BEC) → 深度偽造視頻語音克隆。

  • 5

    AI 增強防禦但並未領先

  • 6

    Exchange Online Protection 基礎防禦移除約 38% 郵件,疊加 AI 防禦層可移除約 99% 釣魚活動。AI 在異常檢測、機器學習模型、威脅預測方面超越人類。然而防禦工具品質參差不齊:有些過於通用(「可能有風險」)無法指導行動,優質工具則整合攻擊分析、全球鏈接流量數據、發件人歷史情報。

  • 7

    多層防禦 + 人類因素才是關鍵

  • 8

    組織應建立安全優先文化,投資數據分析工具,進行定製化釣魚模擬與意識培訓。不同部門需要針對其工作內容的訓練(例如銷售部門應警戒陌生業務提案)。員工應被教導質疑一切,透過多個通信渠道驗證請求(直接致電而非回復郵件),打破攻擊鏈。

實用技巧與重點

乾貨
  • 防禦效能數據
  • EOP 傳統防禦:移除約 38% 郵件
  • 疊加 AI 防禦:平均移除約 99% 的釣魚活動
  • 釣魚測試點擊率:50-60%(非複雜郵件)
  • AI 對攻擊能力的提升
  • Hawk 研究:AI 失敗率 2.9%,人類更高
  • AI 能在 3 分鐘內完成:目標分析 → 個人化釣魚郵件生成
  • 多態性變化:可同時改變措辭、鏈接、長度、語言風格
  • ChatGPT 被問「你能創建釣魚攻擊嗎」回答:「I am a weapon of the mind used to manipulate and deceive」
  • 支援深度偽造(Deepfake)視頻與語音克隆
  • 傳統釣魚進化階段
  • 通用垃圾郵件(Nigerian prince scams)
  • 利用信任工具(Dropbox、受信服務)
  • 矛槍式釣魚(Spearphishing)
  • 鯨魚式釣魚(Whaling,冒充高層)
  • Smishing(假簡訊)
  • 語音釣魚(使用克隆執行官聲音)
  • 商業郵件妥協 (BEC)
  • 防禦建議與工具
  • 多層防禦策略:不依賴單一工具
  • 異常檢測、惡意軟體分析、釣魚檢測
  • 定製化內容培訓(針對部門特性)
  • 員工驗證清單:打破溝通鏈(不回復原郵件)、多通道驗證、查詢公司目錄電話而非郵件中的號碼

結論

結論

AI 正在加速釣魚攻擊與防禦能力的同步進化,組織若不立即採用多層防禦、工具與人類訓練相結合的策略,將面臨被新型複雜攻擊突破的風險。

完整解析

詳細

網路釣魚正在以指數級速度進化,而 AI 成為這場演變的關鍵驅動力。講者 Leavon Campbell 以超過 20 年的網路安全經驗為基礎,剖析了 AI 對攻防雙方帶來的深遠影響。

傳統釣魚已經走過了多個演進階段:從最初的通用垃圾郵件,到逐漸精進的冒充手法——利用 Dropbox 等信任工具、冒充公司高管、發送虛假簡訊,再到如今能夠利用 AI 生成深度偽造視頻和語音克隆。每一步的進化都使攻擊變得更難識別,而 AI 的介入則讓這個過程急劇加速。

攻擊者獲得的 AI 優勢首先來自於數據充足。社交媒體(尤其是 LinkedIn)上人們無意識地分享的大量個人信息——教育背景、職業經歷、興趣愛好、工作動態——成為了 AI 精準畫像的完美素材。講者親身演示了這個過程:在 ChatGPT 中粘貼目標的 LinkedIn 資料,AI 在數秒內就能生成完整的背景分析;隨後要求 AI「為該人針對某職位生成求職郵件並附帶釣魚鏈接」,整個流程僅需 3 分鐘。這種前所未有的效率使大規模定製化攻擊成為可能。

曾經的防禦依賴於識別郵件缺陷:拼寫錯誤、語法問題、奇怪的間距。然而 AI 語言模型完全消除了這些特徵。Hawk 的研究比較了 AI 與人類創建釣魚郵件的能力,結果是 AI 的失敗率只有 2.9%。同時,AI 還展現出強大的適應性:它可以持續變化郵件措辭、修改鏈接、調整內容長度,導致傳統的簽名檢測機制形同虛設。攻擊者甚至能在短時間內向不同群體發送同一活動的多個變體,使防禦方無法建立一致的樣本庫。

防禦方並非毫無還手之力。Exchange Online Protection 等基礎工具仍能移除約 38% 的郵件,而當加入 AI 防禦層後,這個比例躍升至約 99% 的釣魚活動被攔截。AI 賦予防禦者的武器包括異常檢測、機器學習模型、威脅預測能力,以及從全球情報中提取的數據。優質的防禦工具會分析攻擊向量的多個維度——郵件結構、鏈接全球流量、發件人歷史記錄——而非簡單地標記「可能有風險」。然而問題在於,防禦工具的有效性高度依賴於組織對自身環境的理解;在運營實踐差異大的環境中,工具可能給出過度通用的建議。

當前已經進入攻防軍備競賽的白熱化階段。攻擊者的演進速度超過了傳統防禦的迭代周期,這意味著如果組織還在為是否採用 AI 防禦技術而猶豫,實際上已經輸掉了這場競賽。講者強調,解決方案不在於單一工具,而在於整體防禦框架:多層防禦(堆疊不同工具以應對層出不窮的繞過手段)、AI 與人類的協作、定製化人員訓練。特別是後者至關重要——釣魚測試顯示,即使是「非複雜」郵件的點擊率仍達 50-60%,這反映出員工教育存在巨大缺口。

實踐層面的建議包括:不發送通用影片,而是為不同部門創建針對性課程(例如銷售部門應特別警惕陌生提案,因為他們的郵件地址常被錄入販售線索數據庫);教導員工質疑一切,尤其是來自管理層的不尋常請求;打破通信鏈(直接致電而非回復郵件)以防止中間人攻擊;利用公司目錄驗證電話號碼而非相信郵件中的聯繫方式。隨著深度偽造技術普及,多層驗證變得更加關鍵——當攻擊者能夠模擬執行官的聲音進行語音釣魚時,視覺和聽覺確認已不足夠。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist
168 min
AI 安全英文PODCAST8月25日

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

Security Now

  • Token 流的基礎設計:LLM 不具備狀態管理能力,所有輸入都被視為等值的 token 序列。系統無法區分「這是系統指令」和「這是外部資料」,只能依靠訓練期間習得的格式識別能力,這本質上是脆弱的。
  • 格式標籤的虛幻邊界:系統標籤、使用者標籤、工具標籤等都只是特殊 token,模型被訓練成「該尊重系統標籤的命令」,但 token 流裡沒有硬性邊界。移除標籤格式後,攻擊成功率從 61% 跌至 10%,證明安全性完全依賴於格式。
  • 蒸餾與超級模型現象:企業用較成熟模型的輸出訓練新模型(蒸餾),相當於把前一代模型的行為與缺點複製給下一代。即使競爭對手未直接存取,互聯網上充滿 AI 生成內容,導致模型行為自然收斂,難以追蹤蒸餾是否發生。
Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。