KeyFrame內部研究專用

AI Forecast 趨勢論壇|林樂:AI 是資安的雙面刃!當駭客進化到自動化攻擊,企業如何用「AI Gene」轉守為攻?|廣編企劃

天下實驗室·5月18日週一·24 min中文

三句話摘要

Fortinet FortiGuard 資安研究員 Bill 剖析 AI 如何同時強化網路攻擊與防禦能力,以及企業在 AI 轉型時不可忽視的資安風險。 --- AI 讓攻擊自動化、詐騙規模化、門檻歸零,資安不是 AI 轉型的附加選項,而是讓 AI 價值得以兌現的前提條件。 1. AI 是數位革命的最後一塊拼圖,但也讓攻擊者能力指數躍升

重點整理

重點
  • 1

    1. AI 是數位革命的最後一塊拼圖,但也讓攻擊者能力指數躍升

  • 2

    從網路、PC、雲端、IoT 到 AI,每波技術都在加速數據積累;AI 讓這個閉環自驅動,同時也讓攻擊工具的門檻大幅降低,資安已從冷兵器時代進入熱戰乃至「核時代」。

  • 3

    2. Shadow AI 是企業當前最被低估的資安盲點

  • 4

    企業員工私下使用未受管控的 AI 工具,導致機密資料被上傳至第三方模型、Domain Know-how 外洩、token 被濫用於非業務用途,且管理層完全無從掌握使用量與使用內容。

  • 5

    3. AI 強化詐騙與社交工程的真實性與規模

  • 6

    深偽影像、聲紋偽造、客製化釣魚文件,加上 AI 驅動的社交機器人,使詐騙產業鏈的自動化程度大幅提升;以往需要人工照腳本操作的環節,現在可完全由 AI 接手前期篩選。

  • 7

    4. 企業 AI 轉型需將資安內建為 ABCDE 框架的第 F 項

  • 8

    講者將資訊安全(Fortinet 代稱 F)列為 Algorithm、Big Data、Computing、Domain Know-how、Evidence 之外不可缺少的第六要素,因為數據既是企業資產也是決策基礎,其安全性直接影響實質營運結果。

  • 9

    --

實用技巧與重點

乾貨
  • AI 驅動攻擊頻率:每秒破萬次,全天候發生
  • 開源惡意工具:Kawaii GPT(一個 prompt 即可生成客製化勒索軟體)
  • APT 攻擊五步驟:滲透 → 感染 → 紮根 → 傳染 → 潛伏,現可由惡意 Agent 自動執行
  • 勒索攻擊進化版本:勒索 3.0(結合暗網資料 + 社交足跡 + AI 生成客製釣魚文件)
  • AI 資安框架三面向:AI Assist(告警判讀輔助)、Secure AI(保護 AI 基礎建設)、AI Protect(偵測 Shadow AI、AI 驅動威脅防禦)
  • FortiGuard 工作制度:24/7、一週七天全天候威脅情資蒐集
  • 人工智慧 ABCDE+F 框架:Algorithm、Big Data、Computing/Cloud、Domain Know-how、Evidence/Effect、F = Fortinet(資安)
  • 企業 AI 轉型風險清單:Shadow AI 資料外洩、AI 部署漏洞被接管、RAG 知識庫權限管理不當、token 燒耗失控
  • 聲紋認證繞過:AI 聲音偽造技術可能繞過以生物特徵為基礎的語音認證系統
  • 講者援引報告工具:可互動式 AI 滲透率 × AI 利用率行業分佈圖(鼠標懸停顯示職業)
  • --

結論

結論

AI 讓攻擊自動化、詐騙規模化、門檻歸零,資安不是 AI 轉型的附加選項,而是讓 AI 價值得以兌現的前提條件。

完整解析

詳細

資安從業者 Bill 在 Fortinet 任職十年,負責 FortiGuard 的防毒(AV)與入侵防禦(IPS)核心功能。他以「資安的矛與盾」為題,梳理 AI 技術如何同時成為攻擊者的利器與防禦者的護盾。

他首先將 AI 定位為整個數位革命的「最後一塊拼圖」。從網路加 PC 的第一波,到行動裝置加雲服務的第二波,再到 IoT 萬物互聯的第三波,每一波都在加速數據的積累。AI 的關鍵突破在於它讓整個系統形成閉環——數據驅動模型、模型產生決策、決策再生成更多數據——無需人工介入。大型語言模型(LLM)的出現則讓這個閉環第一次對大眾直觀可見,因為語言本身就是抽象概念的載體,讓人們意識到 AI 未來可能的自我創新潛力。然而 Bill 也提醒,盲信 AI 輸出、不加批判地使用,在哲學層面是一種「認知降智」,思考能力的保留在 AI 時代反而比以往更重要。

在企業層面,Bill 點出兩個常被忽略的衝擊:一是供應鏈被強迫數位化,沒有接入數據接口的廠商將逐漸失去能見度與訂單;二是中間管理層因 AI 承擔了資訊傳遞與簡單決策的功能,其存在價值將受到壓縮。他同時指出 Shadow AI 問題——員工在未受管控的情況下使用第三方 AI 工具,導致企業機密資料被上傳至外部模型、Domain Know-how 透過 RAG 架構的權限漏洞外洩,而管理層對這些行為的發生、範圍與後果毫無掌握。

攻擊面的演變是演講的核心。Bill 指出,AI 已將 APT 的五步驟攻擊鏈(滲透、感染、紮根、傳染、潛伏)完全自動化,惡意 Agent 可獨立執行各環節。更令人憂慮的是,開源工具 Kawaii GPT 讓任何人只需一個 prompt 即可生成客製化勒索軟體,攻擊門檻趨近於零。詐騙產業鏈同樣受益:深偽影像、聲紋偽造技術可繞過生物特徵認證,結合暗網資料與社交足跡生成的客製釣魚文件幾可亂真,AI 社交機器人則將原本需要人工操作的詐騙腳本完全自動化。AI 驅動的攻擊頻率已達每秒萬次以上,而資安人才缺口意味著響應速度遠跟不上攻擊成長曲線。

面對這個局面,Fortinet 的 FortiGuard 以 24/7 全天候情資蒐集為基礎,提出三大 AI 資安框架:AI Assist 協助客戶消化海量告警、Secure AI 保護企業自建的 AI 基礎建設、AI Protect 則針對 Shadow AI 與 AI 驅動威脅提供偵測與防禦。Bill 最後以「AI Gene」概念作結,呼籲企業與個人都應從內而外建立 AI 能力——對內以 AI 強化核心研發,對外以 AI 提升產品競爭力與客戶體驗——而非只靠由上而下的指令驅動轉型。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。