KeyFrame內部研究專用

DEF CON 33 - BiC Village - Petty Proteins When Molecules Go Rogue& Why Cyberbiosecurity - Tia Pope

DEFCONConference·10月22日週三·41 min英文

三句話摘要

AI生物蛋白質工程工具的雙重用途威脅與網絡生物安全防禦 當AI能在秒級內設計複雜危害生物物質而全球監管與防禦機制嚴重缺失時,網絡生物安全已成最迫切的跨領域挑戰,任何背景的人都應參與以縮小差距。 蛋白質是比DNA/RNA更複雜且重要的目標 — 蛋白質是「幕後勞動者」,直接執行生命功能。DNA只是藍圖,但蛋白質實際控制細胞行為,且受pH、炎症、含氧量等環境因素影響而動態變化。許多研究論文關於蛋白質功能仍未在濕實驗室充分驗證,留下大量未知領域可被利用。

重點整理

重點
  • 1

    蛋白質是比DNA/RNA更複雜且重要的目標 — 蛋白質是「幕後勞動者」,直接執行生命功能。DNA只是藍圖,但蛋白質實際控制細胞行為,且受pH、炎症、含氧量等環境因素影響而動態變化。許多研究論文關於蛋白質功能仍未在濕實驗室充分驗證,留下大量未知領域可被利用。

  • 2

    AI加速了蛋白質工程的危害應用 — AlphaFold將預測時間從數週/月縮至數秒,Transformer模型能並行處理海量序列。ESM和ProtBERT等開源免費模型可快速生成與評估新序列,使任何人都能在短時間內設計複雜的危害生物物質,如改造毒素或病原體。

  • 3

    安全護欄完全缺失 — 講者審查的100%蛋白質AI模型都沒有任何機制警告危害。無標誌提示「你創建了潛在有害酶」或「這可能成為大規模殺傷武器」,導致危害序列被意外或故意生成都難以攔截。講者本人未到30分鐘就創建出「非常危險的HIV版本」。

  • 4

    國際監管滯後與軍備競賽 — 多國政府承認AI既可防禦也可攻擊,但全球尚無統一法規。各國在武器化這些工具,聲稱用於藥物研發。FDA於2025年2月發布指導意見但僅涵蓋訓練方法,未涉及生物安全防禦,導致防禦速度遠低於威脅增長速度。

實用技巧與重點

乾貨
  • 關鍵AI模型與工具
  • AlphaFold:蛋白質3D結構預測從數週/月降至數秒/分鐘
  • ESM(演化尺度模型):編碼器,用於分類、判別、功能預測
  • ProtBERT / ProtGPT2:解碼器,生成新蛋白質序列,完全開源
  • Neurosap:基於雲端,可預測蛋白質相互作用
  • Craig(講者開發):標記潛在危害的生成序列
  • Debo(講者開發):通過逆向工程辨別模型起源
  • 具體威脅與數據
  • 講者濕實驗室檢測方法達90%準確率(驗證硅基蛋白質在實驗室表現)
  • 神經毒素(如海螺毒素)可被改造為氣溶膠形式,隱藏在日常用品中
  • 可選擇性阻斷神經遞質,影響特定人群
  • 病原體(如新冠變體)結構可被AI改造增強傳播性或致病性
  • 參與防禦的具體路徑
  • 學習氨基酸基礎知識與蛋白質結構
  • 使用UniProt等公共數據庫驗證新聞報導中的蛋白質信息
  • 檢查GitHub上的開源蛋白質模型,研究評估機制與訓練數據
  • 填補國家數據庫漏洞(許多蛋白質序列僅有基礎資訊,無深入研究)
  • 將發現發布到Reddit、Twitter等平台供有興趣的人發現
  • 參與或協助成立工作組討論跨領域標準
  • 監管現狀
  • FDA 2025年2月指導意見:僅涵蓋AI生物制劑訓練方法,未涉及生物安全防禦
  • MITRE等公司開始討論網絡安全與生物安全交叉融合
  • 國家層級框架存在但執行不力,缺乏全球協調

結論

結論

當AI能在秒級內設計複雜危害生物物質而全球監管與防禦機制嚴重缺失時,網絡生物安全已成最迫切的跨領域挑戰,任何背景的人都應參與以縮小差距。

完整解析

詳細

講者以《迷離境界》與《Friday》電影開場,用隱喻說明現狀:人類聚焦於錯誤的事物,而真正的威脅被忽視。新冠疫情證明微小變化可在短時間內摧毀全世界,失業人員無所事事徘徊街頭正如未被善加利用的AI工程師可能淪為恶意工具。

講者雖非傳統生物化學家,但其網絡安全與軟件工程背景使其能看到他人看不到的「裂痕」。這種跨領域視角幫助講者理解蛋白質的真實重要性——蛋白質不只是DNA的產物,而是直接執行生命功能的實體。它們是「幕後勞動者」,包括有益的抗體、酶與激素,但也包括導致疾病的錯誤折疊與被病毒利用的結構。環境因素(pH、炎症、氧氣含量)動態改變蛋白質行為,使其行為複雜且難以預測。

AI革命大幅降低了危害設計的門檻。AlphaFold將預測時間從數月縮至數秒,過去花費職業生涯研究的工作現在秒級完成。Transformer架構的出現使大模型能並行處理數百萬序列,催生出ESM與ProtBERT等蛋白質預測模型。這些模型免費開源,任何人下載安裝所需庫後即可運行。ESM可以生成新蛋白質序列(甚至無輸入也能生成),並預測其功能(如是否為酶)。ProtGPT2作為解碼器可生成完全不同的序列。但令人震驚的是,講者檢查的所有模型都缺乏任何護欄——沒有警告提示用戶其生成物的潛在危害。

這一空白帶來了現實威脅。講者本人在不到30分鐘內就利用這些工具創建出「非常危險的HIV版本」。恶意行為者可以利用公開文獻中已知的神經毒素(如海螺毒素,既用於神經治療也可作大規模殺傷武器),通過AI改造其序列使其更強效,改變其結構使其能以氣溶膠形式傳播,甚至隱藏在日常消費品中。由於每個人的血型、黑色素水平等因素不同,恶意者可設計影響特定人群的蛋白質。政府已承認這一威脅,但全球監管嚴重滯後。美國FDA在2025年2月發布人工智能生物制劑指導意見,但僅涉及訓練方法與殘留檢測,未涉及如何防止危害設計。各國聲稱為藥物研發使用這些工具,實際上卻在軍備競賽中武器化,形成國際竞爭格局。

為應對危機,講者開發了Craig與Debo兩個防禦工具。Craig作為現有模型的包裝器或附加組件,可標記潛在危害的生成序列,幫助使用者識別風險。Debo通過大規模逆向工程——收集數千個AI生成的蛋白質序列及其3D預測——試圖辨別其來源模型,使得一旦危害序列被發布,至少能追溯其來源,「領先小克里斯一步」。講者強調,任何背景的人都能參與防禦。開發者可檢查GitHub上已發布的十多個開源蛋白質模型,研究其評估機制與訓練數據漏洞。非專家可通過Google搜索驗證新聞中的蛋白質信息(例如,新冠變體在3D中實際形態是否與報導一致),填補公共數據庫中因資源不足而未深入研究的蛋白質記錄,將發現發布到社交平台供他人發現。講者正努力成立工作組建立標準,但坦言防禦速度遠遠趕不上威脅增長——這需要全球安全專家、開發者與科學家的協作才能建立有效框架。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。
Black Hat Asia 2026 | IntentGuard: Securing LLM-Generated Cloud Configurations
40 min
AI 安全英文8月18日

Black Hat Asia 2026 | IntentGuard: Securing LLM-Generated Cloud Configurations

Black Hat

  • 1. 基礎設施程式碼成為提示注入的隱形載體
  • 攻擊者可以在 CloudFormation、Terraform 等模板的註釋、環境變數預設值、引數名稱中植入指令,當 LLM 讀取這些模板生成新配置時,攻擊意圖會被隱形執行。這種攻擊能繞過傳統掃描器,因為最終輸出看似合規。
  • 2. 傳統掃描器的根本盲點:只看孤立配置,不看意圖一致性