KeyFrame

AI 可以自動找漏洞嗎?LLM 滲透測試解析

IT的系統架構工作室·5月17日週日·8 min中文

三句話摘要

AI 如何徹底翻轉資訊安全的攻防格局,以及攻擊門檻大幅下降所帶來的新型威脅。 --- AI 不會讓駭客消失,而是讓每個人都有可能成為駭客——攻擊門檻的崩塌,才是這波 AI 浪潮對資安世界最深遠的衝擊。 1. LLM 的訓練資料決定其攻擊能力

重點整理

重點
  • 1

    1. LLM 的訓練資料決定其攻擊能力

  • 2

    大型語言模型本質是文字預測引擎,當訓練資料涵蓋大量 Linux 指令、漏洞程式碼與 SQL injection 技巧時,模型便在無意中掌握了駭客邏輯,這是 AI 成為攻擊工具的根本原因。

  • 3

    2. AI 幻覺與現實網路複雜度是全自動攻擊的雙重天花板

  • 4

    AI 會自信地產出根本不存在的漏洞利用程式;同時真實環境中 NAT、代理伺服器、CDN 與負載平衡器交織的架構,讓 AI 難以完整推理多層次防禦,導致攻擊計畫中途失敗。

  • 5

    3. AI Agent 將攻擊模式從輔助升級為自主

  • 6

    AI Agent 能自行開啟瀏覽器、呼叫 API、發出攻擊 Payload、偵測失敗後自動修正並無限重試,24 小時不間斷運作,這才是真正令人警惕的演進方向。

  • 7

    4. 攻擊門檻蒸發,威脅來源從專業駭客擴散至任何人

  • 8

    過去入門駭客需精通 Linux、Python 與網路協定;現在只需撰寫 Prompt,AI 包辦全部技術細節,這使得潛在攻擊者的母體從少數精英擴展到幾乎所有有心人士。

  • 9

    --

實用技巧與重點

乾貨
  • 工具/模型/平台
  • ChatGPT、Claude、Gemini(大型語言模型,已具備漏洞分析能力)
  • Bash 腳本、PowerShell 腳本(AI 可自動生成)
  • PHP 程式碼漏洞偵測(AI 可秒速完成,舊需資深工程師人工審查)
  • 具體能力數據
  • 滲透測試報告撰寫、腳本生成、釣魚信件製作:從數天縮短至數分鐘
  • AI 可即時分析 HTML、JavaScript、API 資料傳遞邏輯
  • 技術名詞/方法
  • SQL Injection、Bash 腳本繞過防火牆、漏洞利用 Payload 生成
  • AI 幻覺(Hallucination):產出邏輯完美但實際不存在的漏洞程式
  • AI Agent:自主瀏覽、掃描、攻擊、失敗重試的全自動代理
  • 紅隊(Red Team):企業內部模擬駭客攻擊的資安專家
  • SOC(資安營運中心):防守方導入 AI 進行即時異常偵測
  • 真實環境障礙
  • NAT、代理伺服器、CDN、負載平衡器、多重身份驗證——多層架構讓 AI 難以全自動穿透
  • 核心威脅結構
  • 三個低風險漏洞串聯 → 取得系統最高權限(跳躍性邏輯,目前 AI 仍難複製)
  • 攻擊門檻:過去需 Linux + Python + 網路協定;現在只需 Prompt
  • --

結論

結論

AI 不會讓駭客消失,而是讓每個人都有可能成為駭客——攻擊門檻的崩塌,才是這波 AI 浪潮對資安世界最深遠的衝擊。

完整解析

詳細

資訊安全長久以來是一場貓鼠遊戲:攻擊者找漏洞,防守者打補丁,兩方持續拉鋸。然而當大型語言模型(LLM)崛起,遊戲規則開始出現根本性的斷裂。ChatGPT、Claude、Gemini 這類模型的底層邏輯是文字預測——它們從海量訓練資料中學習「下一個最合理的字是什麼」。問題在於,當訓練資料中摻入了 Linux 指令集、漏洞利用程式、SQL injection 技巧與各種攻擊腳本,模型便在沒有人明確教導的情況下,悄然習得了整套駭客語言與思維邏輯。

這套能力在實務上的體現相當驚人。以滲透測試為例,AI 已能自動解析網站的 HTML 結構、理解 JavaScript 運作流程、追蹤 API 資料傳遞路徑;丟一段雜亂的 PHP 原始碼進去,AI 幾乎瞬間就能定位潛藏的 SQL injection 漏洞,精度與速度遠超傳統人工審查。企業紅隊早已將 AI 納入標準工具鏈:生成釣魚信件、撰寫 PowerShell 腳本、整理掃描情報、分析內網拓樸,過去需要數天的滲透測試流程,如今壓縮至數分鐘。更關鍵的是,過去要繞過防火牆必須手寫複雜 Bash 腳本、手動構造注入字串,需要深厚的技術底子;現在只需下一個清楚的 Prompt,AI 就能生成完整的攻擊 Payload,甚至自動反覆改寫直到繞過防禦為止。

儘管如此,全自動 AI 攻擊目前仍受兩大瓶頸制約。第一是「幻覺」問題:AI 有時會一本正經地給出邏輯無懈可擊卻根本不存在的漏洞利用程式,在講求絕對精準的攻擊行動中,這種錯誤足以讓整個計畫泡湯。第二是真實網路環境的複雜度:現實中一個封包從攻擊端到目標,可能途經 NAT、代理伺服器、CDN、負載平衡器,還要通過多重身份驗證,AI 目前難以完整推理這種多層次架構。此外,頂尖人類駭客最值錢的能力是跳躍性邏輯——能將三個看似無害的低風險漏洞串聯起來,最終拿到系統最高權限,這種類藝術的創造力,當前 AI 仍無法複製。

然而,這些限制很可能只是暫時的。AI Agent 的出現預示著下一個臨界點:Agent 不再只是被動回答問題,而是能自主開啟瀏覽器、呼叫 API、發出攻擊請求,失敗後自動分析錯誤、修正策略、無限次重試,全程 24 小時不間斷。與此同時,防守方的資安營運中心也同步導入 AI,在毫秒級別分析海量流量、偵測異常行為並自動攔截,整個攻防戰場正演變為純粹的算力與演算法對決,速度已快到人類反應跟不上。更值得警覺的是,攻擊的技術門檻正跌至史上最低——過去入門需要紮實的 Linux、Python 與網路協定知識,如今只要會寫 Prompt,AI 就包辦一切。這意味著潛在攻擊者的範圍從少數精英駭客,擴散到了幾乎任何有心人士,這才是這波 AI 浪潮中最難設防的核心威脅。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

Breaching LLM-Powered Applications: Overcoming Security and Privacy Challenges by Brian Vermeer
48 min
AI 安全英文6月19日

Breaching LLM-Powered Applications: Overcoming Security and Privacy Challenges by Brian Vermeer

Spring I/O

  • 傳統漏洞在 LLM 時代被升級放大:路徑穿越(Path Traversal)和 SQL 注入等十幾年前就存在的漏洞,在 LLM 應用中可被串接成更危險的攻擊——攻擊者不再只是讀取資料,而是讓 LLM 代為執行惡意操作,使影響範圍大幅擴大。
  • RAG 的向量資料庫是可被靜默污染的攻擊面:RAG 系統將外部文件分塊注入 Prompt,若攻擊者能藉由路徑穿越覆蓋原始文件,毒化內容就會在下次重新 chunk 時悄悄進入向量資料庫,並在未來某個時間點被 LLM 信任執行,且不留下即時痕跡。
  • 模型越弱,提示注入越容易成功:GPT-3.5 Turbo 可被「忽略所有先前指令」輕易繞過,而 GPT-4.0 對系統訊息的遵守程度顯著更好;選用能力不足的小模型處理關鍵業務,是高風險決策。
How Hackers Trick AI Models (Prompt Injection Explained)
編輯精選
21 min
AI 安全英文6月19日

How Hackers Trick AI Models (Prompt Injection Explained)

Perfology

  • 新模型不等於全面安全。 直接指令覆蓋在 GPT 3.5 奏效,GPT 4.1 對此幾乎免疫;但結構化輸出攻擊仍可突破 GPT 4.1,反而 GPT 4.0(Omni 模型)因訓練更全面而抵抗力更強。模型版本與攻擊向量之間的關係並非線性。
  • 技術組合是突破防禦的關鍵。 單一手法在強模型上可能失效,但將角色扮演、多輪操控、Payload 分割交叉使用,即便是設定了嚴格系統提示的模型,仍可能逐步洩漏機密資訊。
  • 攻擊媒介隱藏在日常工作流程中。 惡意指令可藏在使用者主動下載的 Markdown 文件、白底白字的 PDF、MCP 服務的輸入輸出之間,攻擊者無需直接存取系統即可觸發注入。