KeyFrame內部研究專用

AI 可以自動找漏洞嗎?LLM 滲透測試解析

IT的系統架構工作室·5月17日週日·8 min中文

三句話摘要

AI 如何徹底翻轉資訊安全的攻防格局,以及攻擊門檻大幅下降所帶來的新型威脅。 --- AI 不會讓駭客消失,而是讓每個人都有可能成為駭客——攻擊門檻的崩塌,才是這波 AI 浪潮對資安世界最深遠的衝擊。 1. LLM 的訓練資料決定其攻擊能力

重點整理

重點
  • 1

    1. LLM 的訓練資料決定其攻擊能力

  • 2

    大型語言模型本質是文字預測引擎,當訓練資料涵蓋大量 Linux 指令、漏洞程式碼與 SQL injection 技巧時,模型便在無意中掌握了駭客邏輯,這是 AI 成為攻擊工具的根本原因。

  • 3

    2. AI 幻覺與現實網路複雜度是全自動攻擊的雙重天花板

  • 4

    AI 會自信地產出根本不存在的漏洞利用程式;同時真實環境中 NAT、代理伺服器、CDN 與負載平衡器交織的架構,讓 AI 難以完整推理多層次防禦,導致攻擊計畫中途失敗。

  • 5

    3. AI Agent 將攻擊模式從輔助升級為自主

  • 6

    AI Agent 能自行開啟瀏覽器、呼叫 API、發出攻擊 Payload、偵測失敗後自動修正並無限重試,24 小時不間斷運作,這才是真正令人警惕的演進方向。

  • 7

    4. 攻擊門檻蒸發,威脅來源從專業駭客擴散至任何人

  • 8

    過去入門駭客需精通 Linux、Python 與網路協定;現在只需撰寫 Prompt,AI 包辦全部技術細節,這使得潛在攻擊者的母體從少數精英擴展到幾乎所有有心人士。

  • 9

    --

實用技巧與重點

乾貨
  • 工具/模型/平台
  • ChatGPT、Claude、Gemini(大型語言模型,已具備漏洞分析能力)
  • Bash 腳本、PowerShell 腳本(AI 可自動生成)
  • PHP 程式碼漏洞偵測(AI 可秒速完成,舊需資深工程師人工審查)
  • 具體能力數據
  • 滲透測試報告撰寫、腳本生成、釣魚信件製作:從數天縮短至數分鐘
  • AI 可即時分析 HTML、JavaScript、API 資料傳遞邏輯
  • 技術名詞/方法
  • SQL Injection、Bash 腳本繞過防火牆、漏洞利用 Payload 生成
  • AI 幻覺(Hallucination):產出邏輯完美但實際不存在的漏洞程式
  • AI Agent:自主瀏覽、掃描、攻擊、失敗重試的全自動代理
  • 紅隊(Red Team):企業內部模擬駭客攻擊的資安專家
  • SOC(資安營運中心):防守方導入 AI 進行即時異常偵測
  • 真實環境障礙
  • NAT、代理伺服器、CDN、負載平衡器、多重身份驗證——多層架構讓 AI 難以全自動穿透
  • 核心威脅結構
  • 三個低風險漏洞串聯 → 取得系統最高權限(跳躍性邏輯,目前 AI 仍難複製)
  • 攻擊門檻:過去需 Linux + Python + 網路協定;現在只需 Prompt
  • --

結論

結論

AI 不會讓駭客消失,而是讓每個人都有可能成為駭客——攻擊門檻的崩塌,才是這波 AI 浪潮對資安世界最深遠的衝擊。

完整解析

詳細

資訊安全長久以來是一場貓鼠遊戲:攻擊者找漏洞,防守者打補丁,兩方持續拉鋸。然而當大型語言模型(LLM)崛起,遊戲規則開始出現根本性的斷裂。ChatGPT、Claude、Gemini 這類模型的底層邏輯是文字預測——它們從海量訓練資料中學習「下一個最合理的字是什麼」。問題在於,當訓練資料中摻入了 Linux 指令集、漏洞利用程式、SQL injection 技巧與各種攻擊腳本,模型便在沒有人明確教導的情況下,悄然習得了整套駭客語言與思維邏輯。

這套能力在實務上的體現相當驚人。以滲透測試為例,AI 已能自動解析網站的 HTML 結構、理解 JavaScript 運作流程、追蹤 API 資料傳遞路徑;丟一段雜亂的 PHP 原始碼進去,AI 幾乎瞬間就能定位潛藏的 SQL injection 漏洞,精度與速度遠超傳統人工審查。企業紅隊早已將 AI 納入標準工具鏈:生成釣魚信件、撰寫 PowerShell 腳本、整理掃描情報、分析內網拓樸,過去需要數天的滲透測試流程,如今壓縮至數分鐘。更關鍵的是,過去要繞過防火牆必須手寫複雜 Bash 腳本、手動構造注入字串,需要深厚的技術底子;現在只需下一個清楚的 Prompt,AI 就能生成完整的攻擊 Payload,甚至自動反覆改寫直到繞過防禦為止。

儘管如此,全自動 AI 攻擊目前仍受兩大瓶頸制約。第一是「幻覺」問題:AI 有時會一本正經地給出邏輯無懈可擊卻根本不存在的漏洞利用程式,在講求絕對精準的攻擊行動中,這種錯誤足以讓整個計畫泡湯。第二是真實網路環境的複雜度:現實中一個封包從攻擊端到目標,可能途經 NAT、代理伺服器、CDN、負載平衡器,還要通過多重身份驗證,AI 目前難以完整推理這種多層次架構。此外,頂尖人類駭客最值錢的能力是跳躍性邏輯——能將三個看似無害的低風險漏洞串聯起來,最終拿到系統最高權限,這種類藝術的創造力,當前 AI 仍無法複製。

然而,這些限制很可能只是暫時的。AI Agent 的出現預示著下一個臨界點:Agent 不再只是被動回答問題,而是能自主開啟瀏覽器、呼叫 API、發出攻擊請求,失敗後自動分析錯誤、修正策略、無限次重試,全程 24 小時不間斷。與此同時,防守方的資安營運中心也同步導入 AI,在毫秒級別分析海量流量、偵測異常行為並自動攔截,整個攻防戰場正演變為純粹的算力與演算法對決,速度已快到人類反應跟不上。更值得警覺的是,攻擊的技術門檻正跌至史上最低——過去入門需要紮實的 Linux、Python 與網路協定知識,如今只要會寫 Prompt,AI 就包辦一切。這意味著潛在攻擊者的範圍從少數精英駭客,擴散到了幾乎任何有心人士,這才是這波 AI 浪潮中最難設防的核心威脅。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist
168 min
AI 安全英文PODCAST8月25日

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

Security Now

  • Token 流的基礎設計:LLM 不具備狀態管理能力,所有輸入都被視為等值的 token 序列。系統無法區分「這是系統指令」和「這是外部資料」,只能依靠訓練期間習得的格式識別能力,這本質上是脆弱的。
  • 格式標籤的虛幻邊界:系統標籤、使用者標籤、工具標籤等都只是特殊 token,模型被訓練成「該尊重系統標籤的命令」,但 token 流裡沒有硬性邊界。移除標籤格式後,攻擊成功率從 61% 跌至 10%,證明安全性完全依賴於格式。
  • 蒸餾與超級模型現象:企業用較成熟模型的輸出訓練新模型(蒸餾),相當於把前一代模型的行為與缺點複製給下一代。即使競爭對手未直接存取,互聯網上充滿 AI 生成內容,導致模型行為自然收斂,難以追蹤蒸餾是否發生。
Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。