KeyFrame內部研究專用

BBV @ DEF CON 33 - CTF Walkthrough by CTF.ae | Bug Bounty Village, DEF CON 33

Bug Bounty Village·6月9日週二·41 min英文

三句話摘要

CTFAE 團隊在 DEF CON 舉辦的漏洞賞金村莊 CTF:融合真實企業基礎設施與安全挑戰的創新競賽設計。 以真實企業系統模擬為核心,配合多維度安全防護設計(技術棧多樣、LLM 防護、人工分诊),是構建高價值 CTF 的關鍵,既能吸引專業安全人士參與,也能讓參賽者獲得可直接遷移的實戰能力。 真實性優先的設計策略:團隊先構建完整的企業基礎設施(包括 HR 入口網站、訂閱系統、內部研究平台),而非先設計 CTF 挑戰再反推背景。這確保漏洞既符合現實邏輯,又能提供完整的漏洞賞金計畫體驗,讓參賽者學習真實滲透測試流程。

重點整理

重點
  • 1

    真實性優先的設計策略:團隊先構建完整的企業基礎設施(包括 HR 入口網站、訂閱系統、內部研究平台),而非先設計 CTF 挑戰再反推背景。這確保漏洞既符合現實邏輯,又能提供完整的漏洞賞金計畫體驗,讓參賽者學習真實滲透測試流程。

  • 2

    技術棧多元化模擬大型企業:採用 Python、JavaScript、Clojure 等 4-5 種程式語言和多個框架,刻意模擬財富 500 強公司由不同團隊維護多個子系統的真實狀況。這要求參賽者跨領域掌握多種技術才能發現連鎖漏洞。

  • 3

    創新的分诊機制平衡工作量與真實體驗:現場參賽者須提交完整漏洞賞金報告並通過人工分诊(獲得品質分數),遠端參賽者僅得旗幟分數。305 份報告中僅 4 份未處理,既保護了志願分诊團隊,又提供了真實的漏洞賞金體驗。

  • 4

    LLM 防護與漏洞的動態平衡:部署了加強系統提示、產品防護工具、消息混淆等三層防護,同時防護機制本身包含設計漏洞(如僅檢測最新訊息的提示注入),模擬現實中防護方案的不完美性,讓挑戰更貼近真實。

實用技巧與重點

乾貨
  • 團隊與組織
  • 組織:CTFAE(社群創立的 CTF 組織)
  • 核心成員:Abdallah(技術運營)、Youssef、Kasimir、Adam(安全研究員兼軟體工程師)、Yassin
  • 贊助商:PortSwigger、Integrity、Hidden Layer
  • 專案數據
  • 代碼行數:1,150,000 行
  • 微服務數:10 個
  • 編程語言:Python、JavaScript、Clojure 等 4-5 種
  • 設置旗幟數:33 面
  • 參賽者發現旗幟數:20 面
  • 收到報告總數:305 份
  • 未處理報告數:4 份
  • 分诊平均響應時間:45 分鐘
  • 遊戲總時長:1,157 小時
  • LLM 挑戰提交數:15,000+ 次
  • 基礎設施
  • 初期容量:5,000 個容器
  • 最終容量:50,000 個容器
  • 反向代理:HAProxy → Traefik(遷移耗時 6 小時)
  • 運營人員睡眠時間:第一天 4 小時、第二天 4 小時、第三天 6 小時
  • 應用模組
  • 訂閱管理(基礎版、進階版、家用版)
  • DNA 上傳與分析(集成 PySO 庫的 RCE 漏洞)
  • HR 入口網站
  • CMS 內容管理系統
  • 內部研究入口網站
  • 博客與加密健康數據存儲
  • Genebot(基於 RAG 的 LLM 聊天機器人)
  • 研究員代理(知識庫搜尋 + 文件存取權限)
  • 發現的漏洞類型
  • 盲 XSS、反射型 XSS、開放重定向
  • 本地文件包含(LFI)
  • 遠程代碼執行(RCE)
  • 賬戶接管(需 2 次接管才能存取電子表格)
  • LLM 提示注入
  • LLM 防護機制
  • 加強系統提示(限制可執行操作)
  • 產品防護工具(檢測提示注入)
  • 消息混淆(隨機返回「被阻止」或「無法回復」)
  • 系統提示中隱藏額外旗幟
  • 意外發現漏洞
  • 關閉服務中的 LFI
  • DNA 服務中的反射型 XSS
  • CMS 中指向 XSS 的開放重定向
  • 初期賬戶接管
  • AI 代理發現的 LFI(首個 AI 發現的漏洞)
  • 參賽體驗區分
  • 現場參賽者:報告須通過分诊,根據格式、技術深度、準確性獲得品質分數加成
  • 遠端參賽者:僅獲得旗幟分數,報告不進入分诊流程
  • 獎勵機制
  • 現場前 20 名獲得實物獎品
  • 遠端參賽者獲 NopSec 認證(價值約 1,000 美元)
  • 發現意外漏洞的參賽者均獲獎勵
  • 重複發現同一漏洞的多人都獲得報酬
  • 開發時間軸
  • 4 月啟動專案
  • 3 個多月開發週期
  • 上線前 2 週完善細節與優化 UI/UX
  • 上線前一天完成基礎設施擴容
  • 後續推廣計畫
  • 全年持續運營(尚在籌備中)
  • 發佈於 YouTube、社群媒體(X、Instagram、TikTok、LinkedIn)
  • Discord 伺服器用於社群互動
  • 暫無官方詳解文章(待幾個月後發佈以保持挑戰性)
  • 計畫公開 CWE 對應與技能學習路徑

結論

結論

以真實企業系統模擬為核心,配合多維度安全防護設計(技術棧多樣、LLM 防護、人工分诊),是構建高價值 CTF 的關鍵,既能吸引專業安全人士參與,也能讓參賽者獲得可直接遷移的實戰能力。

完整解析

詳細

CTFAE 團隊在本次 DEF CON 大會上首次推出了「漏洞賞金村莊 CTF」,這是對傳統 CTF 競賽形式的根本性創新。不同於常規 CTF 專注於單一漏洞目標(如找密碼雜湊、破解加密),該專案的雄心是將漏洞賞金計畫的完整流程與 CTF 的競技精神融為一體,讓參賽者在模擬企業環境中進行真實的安全測試,同時體驗分诊、報告撰寫、影響評估等專業流程。

項目的核心設定是一個名為 GeneQuest 的虛擬基因檢測公司,模仿 23andMe 的商業模式,涵蓋消費者基因組學研究、DNA 數據管理、訂閱服務、內部研究平台等完整業務線。為了實現這個願景,團隊投入三個多月,編寫了 115 萬行代碼,構建了 10 個相互依賴的微服務。這些服務採用 Python、JavaScript、Clojure 等 4-5 種編程語言,刻意模擬大型企業由不同技術團隊維護異質系統的真實狀況。

設計過程中最大的矛盾在於平衡兩個相悖的需求:CTF 需要清晰的旗幟作為成功指標,而漏洞賞金計畫強調報告完整性和分诊驗證。團隊的創新解決方案是設置 33 個真實的安全漏洞,並在其周圍植入旗幟。這些漏洞既符合企業運營邏輯,又不必與單一旗幟一一對應。例如,電子表格功能漏洞需要連續兩次賬戶接管才能觸發,而同一個應用領域的多個漏洞可能導出相同旗幟。這要求參賽者不僅要發現漏洞,還要理解其影響範圍——這正是真實漏洞賞金獵人的核心技能。

基礎設施方面經歷了扣人心弦的擴容過程。初期設計容量為 5,000 個容器,但距上線不足 24 小時,運營團隊才意識到可能有 10,000 人參賽。負責基礎設施的工程師在項目上線前夜用整整 6 小時,將系統從 HAProxy 遷移至 Traefik,最終實現 50,000 容器的承載能力。他後來半開玩笑地透露,那六小時是他人生中「最難熬的」,但正是這次緊急應變保證了比賽順利進行。

分诊機制設計體現了運營的成熟度。團隊區分了現場參賽者和遠端參賽者,創造了差異化體驗。現場參賽者需通過二維碼掃描進入分诊流程(二維碼一次性使用,防止外洩),提交完整的漏洞賞金報告,由志願分诊團隊根據報告格式、技術深度、準確性給予品質分數加成。遠端參賽者僅獲得旗幟分數,報告不進入分诊流程。這個設計巧妙地既保護了分诊志願者的工作量,又為現場參賽者提供了真實的漏洞賞金體驗。整場比賽收到 305 份報告,分诊團隊平均響應時間僅 45 分鐘(包括隔夜收到的報告),這是相當高效的成績。

LLM 安全挑戰是本屆 CTF 的創新亮點,反映了當下安全社群的熱點。團隊部署了 Genebot(基於 RAG 的客戶服務聊天機器人)和研究員代理(帶知識庫搜尋與內部文件存取權限的工具)。為了模擬現實的防護場景,團隊實施了三層防護機制:加強系統提示以限制 LLM 的可執行操作、部署產品防護工具檢測提示注入、採用消息混淆策略讓攻擊者無法判斷防護是否生效。有趣的是,防護本身包含設計缺陷——例如產品防護工具僅檢測最新消息中的提示注入,理論上攻擊者可以在歷史消息中注入提示,然後發送無害消息繞過檢測。這種「逼真的不完美」讓挑戰更貼近現實。

比賽成果超出預期。兩天內產生 1,157 小時的遊戲時長,15,000 多次 LLM 挑戰提交。參賽者找到 33 個旗幟中的 20 個,發現了 4 個設計團隊未預料到的額外漏洞,包括一個 AI 自主代理發現的本地文件包含漏洞——這是比賽中首個由 AI 而非人類發現的安全問題。即使是未找到的旗幟,發現其周邊漏洞的參賽者也獲得獎勵,甚至重複發現同一漏洞的多人都獲報酬,充分體現了漏洞賞金計畫的核心精神:鼓勵發現所有安全問題,而非單一解決方案。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。