KeyFrame內部研究專用

Between Two Nerds: Can AI defend critical infrastructure?

Risky Business27 min英文
觀看原始影片

三句話摘要

AI 能否透過降低防守成本來改變網路安全的政治困局,還是組織資源配置的根本難題依舊無解? AI 不會解決網路安全的根本困局,但透過降低實施成本與人力需求,它可能會讓某些組織願意提高對安全的投資——只要他們已經有了投資的決心。 馬丁法則框架足以解釋網路防守的困境:組織必須先有投資安全的決心,再分配資源,最後才能實施技術解決方案。三步必須按順序進行,跳過任何一步都無法成功。AI 雖然在降低技術實施成本上有幫助,但無法改變決策階段的組織意願——這才是真正的瓶頸。

重點整理

  1. 馬丁法則框架足以解釋網路防守的困境:組織必須先有投資安全的決心,再分配資源,最後才能實施技術解決方案。三步必須按順序進行,跳過任何一步都無法成功。AI 雖然在降低技術實施成本上有幫助,但無法改變決策階段的組織意願——這才是真正的瓶頸。

  2. 勒索軟體帶來的轉機在於它給了許多組織明確的損失風險,終於激發了投資安全的動力。然而對於水電、能源等關鍵基礎設施,安全投資與營收的關聯性遠低於科技業,這使得投資決策更加艱難。

  3. 風險評估本身無法完全自動化,需要組織領導層根據實際情境、現有威脅、成本與收益進行權衡性決策。AI 缺乏獨立的決策能力與責任承擔能力,在涉及重大決策時的作用有限。

實用技巧與重點

  • 馬丁法則:意願 → 資源 → 技術方案(三步順序不可逆)
  • 2025年12月:波蘭30個電力變電站遭駭,原因包括無日誌記錄、未認證韌體、預設SSH密碼、SSH暴露在網際網路上
  • 波蘭案例的補救方案:升級3年內發佈的任何韌體補丁即可解決
  • 英國國家網路安全中心(NCSC)OT安全原則(2026年8月發布):
  • 平衡風險與連線需求
  • 集中標準化網路連線
  • 使用標準化與安全協定
  • 強化OT邊界防禦
  • 限制洩露影響
  • 所有連線進行日誌記錄與監控
  • 建立隔離計畫
  • Hugging Face 駭客事件:多數AI代理失敗,但只要一個成功且具可測試的成功訊號即可
  • 業界資源配置理論:是否投資安全涉及「用多少人力」與「投入多少成本」的直接計算

結論

AI 不會解決網路安全的根本困局,但透過降低實施成本與人力需求,它可能會讓某些組織願意提高對安全的投資——只要他們已經有了投資的決心。

完整解析

網路安全領域長期存在一個看似矛盾卻真實存在的張力。谷歌資深安全主管海瑟·艾德金斯在推特上樂觀宣稱「防守必將勝利」,但隨後有人提出尖銳回應:防守者在技術上早已足以打敗大部分攻擊者,真正的問題不在技術,而在組織意願。這個回應揭示了網路安全工作中最根本的困境——並非技術能力不足,而是組織決策層不願為其投入資源。

為了理解這種困局,主持人引入了「馬丁法則」作為分析框架。該法則指出:安全投資必須遵循三個階段——首先組織需要有投資的意願,其次需要分配相應的資源,最後才能實施技術解決方案。這三步的順序是固定的,無法跳躍。如果領導層沒有決心,即便技術再簡單也不會被實施;如果願意卻拒絕投入預算,同樣無法解決問題。這個框架解釋了為何許多組織仍在運行充滿漏洞的舊系統——他們的決策是理性的,因為在過去幾十年中,這些系統從未遭到成功的攻擊。

勒索軟體的出現改變了這個局面。它終於給了許多組織一個有形的、直接影響營收的理由來關注安全。一旦有了這種意願,資源配置就變得相對容易,技術解決方案也隨之而來——事實上,對付勒索軟體的技術手段出奇簡單,通常只需要定期備份、定時更新、加強基本安全衛生。

AI 的出現引入了新的變數。在理論層面,AI 有潛力降低執行安全措施的成本。曾經需要三名全職安全專家和一名管理者才能維持的安全水準,未來也許只需一名工程師配合 AI 工具即可達成。這個變化可能會降低組織的投資門檻——如果從需要雇用三個人降低到只需一個人,更多組織可能會願意投資。然而,這個樂觀的展景在面對關鍵基礎設施時遇到了現實阻力。

波蘭電力變電站遭駭事件是個典型案例。事件暴露的問題看似簡單——系統沒有日誌記錄、預設密碼未更改、SSH 暴露在網際網路上——但這些系統運營方的決策邏輯也並非毫無根據。他們面臨著支持合約的限制:只要系統保持運行,就有擔保;一旦進行任何修改,責任就轉移到運營方。因此「保持現狀」成為了理性選擇。而且在過去十年中,許多這類系統確實從未遭過成功的攻擊。

英國國家網路安全中心發布的 OT 安全原則進一步揭示了問題的複雜性。這些原則(如集中標準化連線、強化邊界防禦、完整日誌記錄等)都沒有黑白分明的答案。安全不是二進位選擇,而是風險程度的光譜。組織需要先確定自己的風險胃口——願意承擔多少風險、願意為安全花多少錢——然後在此基礎上做出權衡決策。

而 AI 在這個決策過程中的幫助有限。AI 缺乏獨立的決策能力與價值判斷,也無法為決策後果承擔責任。如果一個組織說「根據歷史經驗,我認為我們的風險胃口很高,舊系統保持預設密碼也沒問題」,AI 會順著這個邏輯進行,甚至會編造理由來支持這個決策。更關鍵的是,在關鍵基礎設施領域,無法通過簡單測試來驗證安全措施的有效性。攻擊是測試系統真正安全程度的唯一方式,這使得 AI 的「試錯」循環無法成立。

結論是樂觀與悲觀的混合體。AI 確實有潛力降低安全措施的成本,可能會改變組織的投資計算,使得原本難以接受的投資變得容易接受。但根本的政治與組織問題依然存在。對於科技業,AI 可能會改變成本效益分析;對於受監管的關鍵基礎設施,這種改變的效果則不那麼明顯。最終,組織的決策仍需要領導層基於自己的情境、風險認知與資源限制進行綜合權衡。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。