KeyFrame內部研究專用

Between Two Nerds: Finding bugs does not mean security

Risky Business31 min英文
觀看原始影片

三句話摘要

AI 安全實驗室為何過度聚焦駭客漏洞發現,以及這種重點對整體網路防禦的實際價值有限。 AI 在網路安全防禦中最大的限制在於它擅長尋找技術問題卻無法直接解決組織與政治層面的問題,因此業界應警惕對駭客漏洞發現的過度重視,而應著力於如何透過 AI 輔助執行基本安全衛生工作和填補設定缺陷。 商業動機決定優先事項:漏洞檢測、程式碼掃描等工作高度耗費算力且需持續運作,是 AI 廠商理想的長期收入來源。這類似藥業偏好銷售慢性病管理藥物而非根治療法的邏輯。

重點整理

  1. 商業動機決定優先事項:漏洞檢測、程式碼掃描等工作高度耗費算力且需持續運作,是 AI 廠商理想的長期收入來源。這類似藥業偏好銷售慢性病管理藥物而非根治療法的邏輯。

  2. 防禦本質上是政治問題:攻擊型網路安全有明確的是/否判斷標準(找到漏洞就是找到),但防禦涉及部門協調、風險權衡、商業影響,無法用客觀標準驗證最佳解決方案。

  3. 歷史教訓遭忽視:1999 年調查顯示,雖然 60% 的人認為記憶體溢出是最大威脅,但 30% 早已指出設定錯誤才是核心問題。時至今日 AI 代理仍主要透過設定錯誤入侵,證實當時那 30% 的人才是對的。

  4. AI 的「百萬聰慧猴子」效應有其極限:AI 能透過並行嘗試海量方案找出漏洞,卻無法用同樣方式解決需要跨部門協商、架構重設的防禦問題。這種搜尋方法對攻擊有效,對防禦卻無力。

實用技巧與重點

  • 預算與人力統計
  • 87% CISO 預期 2027 年預算增加(創歷年新高)
  • 約 50% 預期人員編制增加,50% 預期維持不變
  • 安全優先事項(CISO 納入前五的倡議)
  • AI SOC 最優化:~50%
  • AI 程式碼安全檢查:~50%
  • AI 漏洞補救:~50%
  • 內部 AI Agent 安全:~50%
  • AI 使用治理:~50%
  • AI 攻擊性安全:明顯第二層級
  • 報告來源
  • A16Z《The New Security Agenda: What CISOs Told Us about AI Budgets and Priorities Shaping 2027》
  • 作者:Steph Zhang、Owen Colby
  • 關鍵人物與事件
  • Half Lee:頂級駭客,已加入 AI 公司開發自有專案
  • Crisp 和 Cohen:1999 年發表記憶體緩衝區溢出論文,調查結果 60% 同意其為最大威脅,30% 認為設定錯誤才是
  • 核心概念
  • 攻擊型安全問題:技術問題(AI 可解決)
  • 防禦型安全問題:政治問題(AI 無法直接解決)
  • AI 模型駭客能力進展時間軸:約 3 個月內從弱到相當可觀

結論

AI 在網路安全防禦中最大的限制在於它擅長尋找技術問題卻無法直接解決組織與政治層面的問題,因此業界應警惕對駭客漏洞發現的過度重視,而應著力於如何透過 AI 輔助執行基本安全衛生工作和填補設定缺陷。

完整解析

A16Z 最近發表的一份報告引發了關於 2027 年網路安全預算與優先事項的深入討論。最引人注目的數據是 87% 的首席資訊安全官(CISO)預期來年預算將超過以往任何時期。這股樂觀情緒很大程度源於當前 AI 安全炒作的浪潮——董事會和高層管理人員都被 AI 的承諾所吸引,因而更願意批准追加資金。然而有趣的是,在人員編制方面,受訪者的看法相當分裂:約一半認為會增加人手,一半認為維持現狀。報告試圖將此解讀為「用更少的人做更多的事」,但經驗豐富的安全從業者質疑這個結論是否真能從數據中推導出來。

當深入檢視 CISO 們列出的頂五優先事項時,一個有趣的模式浮現。AI SOC 優化、AI 程式碼安全檢查、AI 漏洞補救、內部 AI Agent 安全和 AI 使用治理都獲得了約 50% 的支持率,而攻擊性 AI 安全則明顯落後。分析表明,前五項中有四項直接與 AI 尋找和修復程式碼中的錯誤相關——這正是現今 AI 系統最擅長的領域。而 AI SOC 代表著另一種志向,基於 AI 善於處理大量資料的假設,希望 AI 能使 SOC 分析師工作更有效率。

一位聲譽卓著的駭客在社群媒體提出了關鍵問題:為何 AI 公司如此專注於駭客漏洞發現,儘管這只是網路安全產業的一小部分?答案出人意料地務實。漏洞檢測、程式碼掃描和其他防禦工作都需要持續運作,不間斷地消耗算力與 tokens,這對 AI 服務提供商構成理想的長期收入來源。相比之下,一次性的安全架構部署專案無法產生同樣的經常性收入。這道理有如藥業偏好銷售慢性病管理藥物而非根治療法——前者能產生源源不絕的收益。

但更關鍵的是防禦性與攻擊性網路安全的根本區別。駭客漏洞發現具有明確的是非判斷標準——找到漏洞即成立,沒找到就是沒有。防禦卻全然不同:在不同部門間協調妥協、平衡安全與業務連續性的解決方案,無法用相同的客觀標準來驗證其正確性。這反映了更深層的模式:AI 在數學、物理等硬科學領域成功,正因為這些領域擁有可客觀驗證的真假判準。網路安全防禦則本質上是政治問題,涉及組織、人員與利益權衡。

業界對駭客漏洞的過度關注其實是歷史的重演。早在 1999 年左右,安全研究人員在向業界提問「記憶體緩衝區溢出是否是最大的遠端程式碼執行威脅」時,雖有 60% 同意,但重要的是有 30% 的人指出設定錯誤才是更重大問題。事實證明當年那 30% 的人才是正確的——時至今日,AI 代理仍主要透過設定錯誤入侵網路,而非記憶體溢出。這啟示人們應該加入那 30% 的陣營,認識到駭客漏洞發現只是安全拼圖的一小塊,真正的威脅來自設定和組織決策的不當。

對於美國網路安全與基礎設施安全局(CISA)最近發表的戰略計劃幾乎完全迴避 AI 這個話題,評論者表示詫異。但從實務角度,身為安全領導者無法完全忽略 AI——這已成為爭取資金與支持的必要話題。聰慧的做法是用 AI 的語言包裝基本面的重要性:強調最小權限、網路分割和普遍多因素身份驗證的必要性,但將其框架化於 AI 威脅時代的背景中。這樣既不偏離防禦的核心原則,又能與當前的風險認知相呼應。

值得注意的是 AI 模型駭客能力的進展速度驚人——在短短三個月內,其能力從相當薄弱躍升到相當可觀。這並非源於精心的戰略規劃,而是在實際訓練過程中被發現的意外能力。理解 AI 如何工作對此有幫助:可將其比作「百萬聰慧猴子」的隱喻。它們並行嘗試許多可行的方案,既非笨拙也不必然聰慧,但最終透過廣泛搜尋找到成功案例。這種方法對於攻擊外部系統極其有效,卻無法應用於防禦——無法讓百萬猴子與所有業務部門協商,以重新架構安全設計。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。