Between Two Nerds: Why AI will mean infinite bugs
三句話摘要
AI 時代的軟體安全困境——技術樂觀主義與經濟激勵的碰撞。 軟體漏洞將無限增長,但同時被無限增長的低效黑客活動抵消,整個系統達到新的平衡點——回到起點。 樂觀預期與現實脫節:雖然 Google 等大公司聲稱進行「深度清理」,利用 AI 改進安全,但 AI 是在現有軟體基礎上訓練,而多數現有軟體本質不安全。安全架構設計需要複雜的前期規劃,無法用簡單規格編碼實現,AI 無法有效替代。
重點整理
樂觀預期與現實脫節:雖然 Google 等大公司聲稱進行「深度清理」,利用 AI 改進安全,但 AI 是在現有軟體基礎上訓練,而多數現有軟體本質不安全。安全架構設計需要複雜的前期規劃,無法用簡單規格編碼實現,AI 無法有效替代。
經濟激勵機制反轉:過去的權衡是「快速開發積累技術債」vs「緩慢但安全開發」。AI 出現後變成「快速開發安全軟體」vs「快速開發不安全軟體」——前者仍需投入,後者更便宜、更快,經濟理性選擇從未改變。
規模問題無解:數十年老舊軟體(工業控制系統、嵌入式設備等)修復成本往往超過重寫,加上重新認證麻煩,企業沒有動力投資。Martins 定律指出需要政治意願、資源和技術配合,而現實中動力缺失。
威脅民主化的悖論:AI 降低黑客入門門檻,導致大量無能力行為者進入,但他們往往不知道變現方式。結果是「無後果的入侵」激增,真正有組織的威脅行為者數量未增加,反而被新手雜音淹沒。
實用技巧與重點
- 涉及公司:Apple、AWS、Microsoft、Google
- 變化指標:21 家主要軟體公司的關鍵漏洞報告數上升趨勢
- 推動話題:Andres Horowitz(a16z)
- 關鍵聲音:Heather Atkins(Google 安全副總)
- 核心概念:Von Pock 橢圓、「深度清理」、安全軟體開發框架(SSDF)
- 技術方案:Google 推進 Rust 語言採用以提升記憶體安全
- 決策框架:Martins 定律(政治意願 → 資源 → 技術實現)
- 對比案例:
- Chrome:高投入、持續更新 → 有機會達成高安全性
- 消費級物聯網設備(如網路洗衣機):無修復動力
- 老舊 OT 軟體:修復成本 > 重寫成本
結論
軟體漏洞將無限增長,但同時被無限增長的低效黑客活動抵消,整個系統達到新的平衡點——回到起點。
完整解析
Tom Uren 在這集播客中記錄了他對 AI 時代軟體安全前景的認知轉變。起點源於 Andres Horowitz 的觀察:包括 Apple、AWS、Microsoft 和 Google 在內的 21 家主要軟體公司報告的關鍵漏洞數量急劇上升。Google 安全副總 Heather Atkins 對此持樂觀態度,用「深度清理」比喻業界正在系統性清除積累多年的技術債和安全漏洞,最終迎來更安全的軟體生態。
Tom 最初也認同這種樂觀。他的邏輯是:在 AI 之前,發現軟體漏洞是高度專業化的技能,難以納入日常開發流程;而 AI 在漏洞發現上表現優異,能大幅降低成本。因此他預期軟體會自然演進為更安全。但過去幾週的實際觀察讓他改變想法。
轉折點來自一個看似矛盾的現象:AI 大幅降低了編程成本和難度,使任何人都能快速生成大量代碼。他自己親身體驗過——只需一句提示,Claude 就為 Obsidian 寫了外掛,15 分鐘後就能運作。但這帶來意外後果:當開發變得極其容易時,安全性反而被忽視。大量新應用都是粗糙快速的原型,使用者介面經常出現回歸式 bug,但這些問題並未阻止開發者持續發布更新迭代。
更根本的矛盾在經濟激勵。過去開發者面臨「快速開發+積累技術債換市場速度」或「緩慢但安全開發」的二元選擇。AI 改變成本結構後,選擇變成「快速開發安全軟體」和「快速開發不安全軟體」——但不安全版本仍更便宜、更快。沒有任何東西會推動企業選擇安全優先路線。
另一被低估的挑戰是安全架構設計。真正的安全不能事後靠修補漏洞達成,必須從基礎架構設計階段就內建。但 AI 代理難以勝任,因為它們是在現有軟體基礎訓練——而現有軟體多半本質不安全。這形成自我強化的循環:AI 學會複製現有軟體的不安全模式。
還有一個規模困境。數十年的老舊軟體(工業控制系統、嵌入式設備等)修復成本往往超過重寫,加上重新認證複雜度,企業經濟上無法合理化投資。Martins 定律指出需要政治意願、資源和技術三者配合,而現實中首兩項往往缺失。
最後,Tom 探討 AI 如何改變威脅格局。AI 確實降低黑客入門門檻,導致大量缺乏技能的新手行為者湧入。但他們通常不知道如何變現成果,結果是大量「無後果的入侵」——數據被盜但沒被妥善利用,實際傷害有限。這可能比真正有組織的威脅行為者造成傷害更少。

