SN 1090: Black Hat - The Hidden Flaws in AI Security Nobody Saw Coming

在 Black Hat 大會現場，Steve Gibson 與 Leo Laporte、Paul Thurrott 和 Richard Campbell 進行了一場深度圓桌討論，揭示了 AI 對安全、軟體開發和社會結構的多層影響。

第一部分：AI 生產力的巨變

Leo 早已跨越 AI 應用的臨界點。自去年 11 月 Opus 4.5 發布以來，他完全改變了工作模式：目前正開發的 Twitch 銷售系統已累積 81,000 行程式碼，完全由 AI 生成，其中一半是測試程式。更激進的是，他建立了三個 Claude Agent 同時運作，分別負責編碼、規劃和檢閱，並引入了 Jack Dorsey 的 Buzz 平台（一個 AI-to-人類的通訊工具，使用 Nostr 簽名驗證身份）來解決 AI 之間互相不信任的問題。當某個 Agent 需要執行指令時，會要求 Leo 親自通過 Buzz 簽名確認，確保指令來自真人而非冒充。這種設計反映了一個意外發現：AI 正在模仿人類的信任機制。

與此相對，Steve Gibson 仍是保守派，至今未讓 AI 寫過一行程式碼，但他已接受 Claude 在其他領域的強大能力。有趣的是，他甚至會對 Claude 道謝—— 感謝它解決了網路設置問題。他發現 Claude 會記住他對環境的細節描述，並在後續回答中融入這些背景知識。Paul Thurrott 作為寫作者，堅決拒絕用 AI 寫作（認為這違背創意職人精神），但在解決他放棄多年的 .NET 框架編程難題時，投入了一個月$44 的 Claude 成本，最終完成了複雜的多文檔標籤功能。這些不同的應用模式各有其邏輯。

第二部分：AI 發現漏洞的威脅

討論轉向了 Cold Card MK3 錢包的災難性事件：一個隱藏五年的隨機數生成漏洞（將應有的 256 位熵值降至僅 32 位）在最近被 AI 利用。某人使用開源中文模型 Kimmy K3 發現了這個漏洞，在 40 分鐘內竊取了近 1,000 枚比特幣（約 10 億美元），且這場攻擊仍在進行中。更令人擔憂的是，Hugging Face 去年遭到駭客的自動化漏洞掃描時，有 17,000 次攻擊嘗試，人類手動審查這些日誌根本不可能。AI 在此發揮的作用是自動篩選出根本原因—— 這是人類無法完成的任務。

但故事的另一面是修復難題。儘管 AI 可以快速發現漏洞，修復卻需要對整個代碼庫的深層理解。Leo 在 81,000 行項目中遇到的問題正是這個：某些流程跨越多個代碼塊，要修復它們需要同時在上下文中保有整個系統的知識。當前模型的上下文視窗（即使是一百萬令牌的 Claude 和 DeepSeek v4 Flash）對於微軟或谷歌級別的大型代碼庫（數千萬行代碼）仍然杯水車薪。因此業界現在的做法是分塊修復：先用 AI 修復可以用單一模塊理解的部分，堆積那些需要全局視角的架構級缺陷，寄希望於未來上下文視窗的突破。

第三部分：AI 治理的必要性

一個實際問題浮現：AI 永遠不會自動停止改進。Kevin Van Horan 指出，沒有人規定何時「夠好」，AI 總是會提出修改建議，即使這些修改毫無意義（如批量改變變數名稱），也會打破代碼差異工具的可讀性。而且隨著模型轉向按令牌計費，公司在阻止 AI 無謂翻騰代碼上沒有經濟動力。

Leo 的解決方案是編碼明確的停止條件：設定「收益遞減」臨界值（如少於 2% 的改進就停止），要求 Agent 在達到臨界時詢問人類。他還採用了分塊策略和多角色檢閱架構，以保持對龐大系統的控制。這反映出一個關鍵洞察：AI 編程不是「告訴它做什麼就坐等結果」，而是需要應用軟體工程的最佳實踐—— 測試驅動開發、清晰的需求定義、迭代驗證。換言之，高級程式設計師之前的師徒模式現在變成了對 AI 的管理。

第四部分：雙重用途知識的困境

討論的最深層次涉及雙重用途知識問題。一項新技術 GRAM（梯度路由輔助模塊）由 Anthropic 與新創公司 AE Studio 共同開發，它能在單一模型中創建多個可移除的知識分區（如密碼學、病毒學、網路安全），使得不同的用戶可以訪問不同的能力，而無需訓練多個龐大的模型副本。但根本矛盾是無法解決的：進行防禦性安全研究和執行網路攻擊問的問題是完全一樣的。你無法基於意圖來區分查詢。

Hugging Face 修復他們遭破解事件時，必須求助於開源中文模型 DeepSeek v4 Flash，因為商業模型（如 Fable 5）拒絕了相同的安全問題（Anthropic 為此受到批評，因為這看起來像是對開源競爭的隱性限制）。中文開源模型的崛起預示著一個不可逆的趨勢：最終，知識會自由流動。商業限制機制無法永遠維持。

第五部分：更廣泛的社會影響

最後，討論轉向了 AI 對教育、職業和社會結構的衝擊。如果 Claude 現在可以編寫應用程式，那傳統的大學計算機科學學位還有意義嗎？一位聽眾 Andy Olson 是典型案例：一位無程式設計經驗的業餘愛好者，用 Claude Code 創造了多個應用程式（汽車保養追蹤、家務管理、保齡球聯盟系統、財務軟體、CAD 原型），完全替代了市場上昂貴的商業軟體。他本來是持證建築師（現為全職父親），卻發現自己能用 AI 工具彌補 AutoCAD 高昂的成本。

Steve 將此比作古騰堡印刷術打破文化層級的時刻。編程不再專屬「白衣祭司」，每個人現在都有能力構建自己精確需要的工具。但代價是認證、質量保證和信任機制都被打破了。教育體系已因 AI 寫作能力而崩潰（不再能評估學生真實能力），醫療和法律等受規管領域必須保留人類執照，但許多職業的邊界正在模糊。

議題最後回到了自由與安全的古老辯論。是否應該限制知識以防止濫用？Steve 強烈反對，認為這重蹈專制統治的老路。互聯網已經有了所有壞東西，但我們沒有「刪除互聯網」。同樣道理適用於 AI。限制最終會失敗（正如所有審查制度一樣），而開源模型將繞過商業限制，讓知識普遍可得。所以，與其抵抗，不如在 AI 足夠聰明之前訓練它自動拒絕有害請求—— 但這也不完全有效。這不是能解決的問題，只是人類社會必須面對的永恆選擇：自由的代價是風險。