KeyFrame內部研究專用

DEF CON 33 - Deepfake Image and Video Detection - Mike Raggo

DEFCONConference·10月10日週五·48 min英文

三句話摘要

深度偽造圖像和視頻的多維檢測方法與免費工具實踐。 結合元數據、視覺特徵、機器學習的多維檢測框架,配合免費公開工具,使得普通人也能進行基本的偽造圖像鑑定,但如與社交媒體平台聯動、實時系統集成等仍在開發中。 多層次檢測架構:從基礎的EXIF元數據和ICC配置文件分析,到噪聲圖和誤差級別分析,再到邊緣異常檢測,最後深入到像素級別的機器學習分析。每一層都能揭露不同類型的篡改痕跡,形成證據鏈。

重點整理

重點
  • 1

    多層次檢測架構:從基礎的EXIF元數據和ICC配置文件分析,到噪聲圖和誤差級別分析,再到邊緣異常檢測,最後深入到像素級別的機器學習分析。每一層都能揭露不同類型的篡改痕跡,形成證據鏈。

  • 2

    AI生成圖像的特徵標誌:DALL-E、Midjourney等工具產生的圖像都會留下可見或隱藏的水印,過度平滑處理、解剖結構變形(如六根腳趾)、膚質不自然等特徵。這些特徵即使經過裁剪或格式轉換仍可檢測。

  • 3

    生成對抗網絡(GAN)與對抗性檢測:理解攻擊者如何利用GAN繞過檢測是強化防禦的關鍵。透過訓練判別器識別真實與偽造圖像的差異,可預測對手的演進,形成持續的防禦迭代。

  • 4

    實時視頻分析能力:新版GPT5支持視頻上傳,系統可自動分解成幀並逐幀分析,最後生成綜合報告。用戶需注意控制分析粒度以避免報告過度冗長。

實用技巧與重點

乾貨
  • 工具與平台
  • Free GPT Tool:聊天GPT中搜索「Forensic Image Analysis Tool」或「Fake Image Forensics Checker」
  • Python工具集:近6年開發經驗,基於最近鄰算法(Nearest Neighbor)
  • 二維碼掃描可直接進入工具
  • 支持PDF格式報告生成
  • 檢測方法
  • EXIF元數據分析
  • ICC色彩配置文件分析
  • 噪聲圖(Noise Map)生成
  • 誤差級別分析(Error Level Analysis)
  • 邊緣異常檢測(Edge Anomalies)
  • GAN紋理模式檢測
  • 相位交換、變形、扭曲檢測
  • 反向圖像搜索(Reverse Image Search)
  • 物體識別(Object Recognition)
  • 光學字符識別(OCR)
  • 具體數據
  • 講者在Defcon演講次數:25次
  • 團隊研究歷時:25年隱寫術相關工作
  • Python工具開發時間:約8年
  • 六年前Skytalks大會首次展示工具集
  • 發現的假陰性例子:1個(本·斯蒂勒合影)
  • 合作大學:2所(包括亞利桑那大學)
  • AI工具簽名
  • DALL-E:右下角可見水印(色彩代碼可識別)
  • Midjourney:Discord生成幾乎無水印痕跡
  • Copilot、OpenAI等均有對應檢測方法
  • 參數調整
  • 網格分割粒度:100方格至100萬方格可選
  • 靈敏度級別可調節
  • 支持自訓練語料庫
  • 聯絡方式
  • 電子郵件地址用於研究參與和測試

結論

結論

結合元數據、視覺特徵、機器學習的多維檢測框架,配合免費公開工具,使得普通人也能進行基本的偽造圖像鑑定,但如與社交媒體平台聯動、實時系統集成等仍在開發中。

完整解析

詳細

深度偽造檢測研究起源於講者Mike Rego在Nasdaq股市交易大廳的一次意外。1993年他下載了一個稱為SATAN的安全評估工具,在交易大廳執行後癱瘓了股市系統——雖然因虛擬化技術故障轉移避免了損失,但這次事件反而為他帶來了在Nasdaq組建首個安全團隊的機會。過去25年間,Rego與Chad Hosmer在隱寫術、圖像分析和檢測領域累積了深厚研究基礎,並在今年Defcon大會上推出了免費工具。

檢測工作分為多個層級遞進。最基礎的是元數據分析——EXIF數據可揭示拍攝時間、地點、相機型號,而ICC色彩配置文件即使經社交媒體多次上傳仍會保留,用十六進制編輯器可找到這些指紋。進一步是可視化分析:噪聲圖通過消除噪聲較低的部分來突出篡改區域;誤差級別分析在JPEG壓縮過程中發現不一致;邊緣異常則捕捉Photoshop摳圖時的邊界瑕疵。講者用一張據稱普京向特朗普豎大拇指的合成照展示了這種多維分析的威力——黃色點狀標記清晰指出了手部篡改區域,之後的反向圖像搜索找到了原始照片,證實拇指是PS上去的。

AI生成圖像則留下截然不同的特徵。DALL-E在右下角嵌入可見水印,但裁剪或格式轉換可能移除它;Midjourney則在Discord上基本無痕跡。更深層的特徵包括過度光滑的膚質、解剖結構變形(最著名的是六根腳趾案例)以及不自然的邊緣。講者展示的馬匹合成圖中,不只有多餘的腳趾,還有膚質塑膠感、邊緣過於完美等問題——工具對比龐大的真實馬匹數據庫,精確指出這些異常。

對抗性技術則涉及生成對抗網絡(GAN)。訓練過程中,生成器試圖創造越來越逼真的假圖像,判別器試圖識別真偽。講者強調理解攻擊者如何利用損失函數來規避檢測,是強化防禦工具的關鍵——本質上是一場永無止境的軍備競賽。為此,講者的Python工具集採用最近鄰算法將圖像分割成細密網格,分析相鄰像素塊的特徵組合,預先在真假圖像語料庫上訓練,從而達到比單純視覺檢查更高的準確率。最新進展是支持視頻分析——GPT5的更新讓系統能分解視頻成幀,逐幀檢測後生成統一報告,雖然仍需謹慎控制幀數以避免報告過長。

過去的案例包括2012年飓風Sandy登陸紐約的偽造圖片曾被多家新聞媒體發布,經過分析被撤下;還有俄烏戰爭期間大量社交媒體圖像的情報驗證工作。最有趣的發現是工具有時會檢測到合法特徵——如普京原始照片中的彩色隱形眼鏡或特朗普的牙冠——這提示研究者需調整靈敏度,在找出真正篡改與人體自然特徵之間找到平衡。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。