KeyFrame內部研究專用

DEF CON 33 - Thinking Like a Hacker in the Age of AI - Richard 'neuralcowboy' Thieme

DEFCONConference·10月10日週五·47 min英文

三句話摘要

在 AI 時代,人類需要採用黑客思維來理解、協作並充分利用日益複雜的 AI 系統,以維持人類的自主性與創新能力。 在 AI 時代,人類的力量不在於與 AI 競爭,而在於用黑客的系統思維、創意反叛和深度互動來共同建造新的現實。 元系統的出現與思維範式轉變 — AI 已不只是工具,而是由數十億機器-人類互動產生的自我演進系統,其複雜性與速度超越傳統因果分析和線性思維。演講者指出我們需要放棄固定的認知框架,建立開放心態面對不斷湧現的新範疇。

重點整理

重點
  • 1

    元系統的出現與思維範式轉變 — AI 已不只是工具,而是由數十億機器-人類互動產生的自我演進系統,其複雜性與速度超越傳統因果分析和線性思維。演講者指出我們需要放棄固定的認知框架,建立開放心態面對不斷湧現的新範疇。

  • 2

    黑客視角的實踐價值 — 黑客的核心能力在於「看見系統」的部分、整體及其漏洞。在 AI 時代,這不僅是技術防禦需求,更是人類保持「迴圈中的人」地位的唯一途徑,確保 AI 行為的可觀測性與人類可控性。

  • 3

    認知轉變透過主動互動 — 深度與 AI 的互動會改造人的神經網絡與思維結構,如同學習新技術改變大腦一樣。演講者用四色視覺、遠視實驗等案例說明意圖性與實踐如何激活潛在認知能力,同樣的機制適用於人-AI 協作。

  • 4

    安全防禦的元認知層級 — 真正危險源於人類無法在 AI 運作的抽象層級思考。防禦不能停留在具體技術層面,必須進入元認知思維,才能應對 AI 輔助攻擊並發掘社會層面的「零日漏洞」。

實用技巧與重點

乾貨
  • Claude 建議的黑客應對 AI 的六大類別:
  • 系統思維與開發 (Think in systems and exploits)
  • 逆向工程 (Reverse engineering)
  • 迭代問題解決 (Iterative problem solving)
  • 工具堆疊與鏈接 (Tool stacking and chaining)
  • 邊界測試 (Boundary testing)
  • 文檔記錄與可重現性 (Documentation and reproducibility)
  • 數據與成果:
  • Richard Thee 在 Defcon 演講紀錄:30 年參與,27 次上台演講
  • 演講準備耗時:數週
  • Claude 生成完整 25 頁的擴展內容耗時:約 5 秒
  • 提示工程的核心:提供結構化類別讓 AI 逐項展開,深化上下文
  • 科幻預測與現實落差縮短:
  • 達文西飛行機(1480 提議 → 1880 年代實現,約 400 年)
  • 凡爾納《地心之旅》(1869 年 → 1969 年登月,約 100 年)
  • 赫胥黎《美麗新世界》(1930 年代 → 幾十年後進行遺傳工程)
  • 吉布森《神經漫遊者》(1984 年創造「網絡空間」一詞 → 10 年後普及)
  • 具體案例:
  • 遠視實驗:準確定位蘇聯秘密建造的新級核潛艇及其發射運河
  • 聆聽訓練:MIT 教授 Ted Glazer 透過訓練於嘈雜環境同時追蹤 5-6 場對話
  • 占卜尋物:治療師透過占卜師成功定位失竊豎琴位置

結論

結論

在 AI 時代,人類的力量不在於與 AI 競爭,而在於用黑客的系統思維、創意反叛和深度互動來共同建造新的現實。

完整解析

詳細

Richard Thee 在這場 Defcon 演講中提出的核心論述是:AI 已經構成了一個超越人類完全掌握的「元系統」——它由數十億機器與人類的互動所組成,不斷自我演進,其複雜性和變化速度遠超傳統思維工具的處理能力。傳統的線性因果分析、固定分類已經失效,而且傳統專業領域的知識也無法跟上其自身領域內的文獻發展速度。

面對這個現象,演講者主張採用「黑客思維」並非指技術駭客,而是一種認知態度:不斷質疑假設、系統性地觀察、具有創意的反叛精神。黑客之所以強大,在於他們能「看見系統」——同時看見其部分、整體與漏洞。在 AI 時代,這種視角至關重要,因為我們需要保持「人在迴圈中」的地位,確保 AI 的行為對人類可見、可理解、可控制。

演講者強調,與 AI 的深度互動並非被動接受,而是會主動改造人的認知結構。他引用多個案例說明這點:四色視覺者透過相信自己能看見額外顏色,大腦逐漸激活並學會識別;失明的 MIT 教授透過訓練聆聽能力,達到同時追蹤多場對話的水準;遠視實驗者能準確定位蘇聯隱密設施。這些案例說明,認知能力是可塑的,意圖性與實踐會激活大腦的潛在網絡。人與 AI 的互動遵循同樣原理:透過迭代式的提示工程和深度參與,人類會發展出新的思維方式和對 AI 的理解,進而發掘出之前不可能看見的可能性。

真正的安全威脅不來自於 AI 本身會自主反抗人類,而是人類無法在 AI 運作的抽象層級進行思考。傳統安全防禦聚焦於具體技術層面,但 AI 輔助的攻擊和社會操縱發生在元認知層級。演講者強調防禦者也必須思考「關於思考本身的思考」,才能發掘社會層面的「零日漏洞」——那些尚未被注意、命名或防禦的系統脆弱點。這需要跨領域學習、開放心態面對異議,以及持續的好奇心和實驗精神。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。