Your AI Is Under Attack: Prompt Injection and OWASP LLM Top 10
三句話摘要
針對大型語言模型（LLM）的提示注入攻擊原理與零信任防禦架構，作為 CEH 考試的 AI 安全核心知識。 --- AI 安全的本質是零信任的再實踐：所有 LLM 的輸入與輸出都必須被當作潛在威脅處理，這不是新觀念，而是舊原則在新技術上的強制重申。 提示注入分直接與間接兩種型態：直接注入由攻擊者手動輸入惡意指令；間接注入則將惡意指令隱藏在文件、網頁等 AI 會讀取的外部資料中，後者更難偵測也更危險。
重點整理
重點- 1
提示注入分直接與間接兩種型態：直接注入由攻擊者手動輸入惡意指令；間接注入則將惡意指令隱藏在文件、網頁等 AI 會讀取的外部資料中，後者更難偵測也更危險。
- 2
LLM 漏洞是經典資安概念的延伸，並非全新領域：提示注入對應 SQL Injection，訓練資料污染對應供應鏈攻擊，過度授權（LLM08）對應最小權限原則，既有資安知識可直接遷移應用。
- 3
防禦核心是執行嚴格的信任層級（Trust Hierarchy）：系統提示視為可信，所有外部輸入（使用者輸入、文件、網頁）一律視為不可信，並對 AI 的所有輸出進行消毒驗證。
- 4
AI Red Teaming 是合法授權的測試，非隨意攻擊：必須在 Lakera Gandalf、OWASP Juice Shop 等定義好的安全沙盒平台上進行，目的是找出系統弱點，等同於傳統滲透測試的 AI 版本。
- 5
--
實用技巧與重點
乾貨- 框架名稱：OWASP LLM Top 10
- 發布年份：2023 年
- 採用狀態：NIST 引用、已進入企業政策、納入 CEH 核心知識庫
- 關鍵漏洞對應：
- 提示注入 → SQL Injection（新瓶裝舊酒）
- 訓練資料污染 → 供應鏈攻擊
- 過度授權（LLM08）→ 最小權限原則違反
- 四大防禦支柱：
- 永不信任輸入，所有內容視為潛在惡意並消毒
- 最小權限原則：AI 只獲得完成任務所需的最低權限
- 驗證所有輸出：AI 回應也需過濾消毒
- 紀錄與監控所有行為
- 沙盒實驗平台：Lakera Gandalf、OWASP Juice Shop（意圖易受攻擊的應用程式）
- 考試必知五概念：OWASP LLM Top 10、提示注入（直接／間接）、過度授權、零信任架構
- --
結論
結論“AI 安全的本質是零信任的再實踐：所有 LLM 的輸入與輸出都必須被當作潛在威脅處理，這不是新觀念，而是舊原則在新技術上的強制重申。”
完整解析
詳細隨著企業大量部署 AI 聊天機器人與 LLM 系統，一個嶄新的攻擊面正在快速成形。講者以一個實際情境開場：假設一家公司的客服 AI 只被設計來回答帳戶問題，卻被攻擊者在輸入中夾帶惡意指令，結果模型不僅開始洩露內部系統提示，甚至執行原本被禁止的操作。這就是提示注入（Prompt Injection）的本質——利用 LLM 最強大的特性「遵從指令的能力」，來作為攻擊入口。這個矛盾正是 AI 安全挑戰的核心所在。
面對這個問題，業界在 2023 年推出了 OWASP LLM Top 10 框架。講者強調，這份文件的重要性不亞於傳統的 OWASP Web Top 10，它已被 NIST 引用、納入企業安全政策，並正式成為 CEH 考試知識庫的一部分。更關鍵的是，講者指出這些 LLM 漏洞並非憑空而來——提示注入本質上就是 SQL Injection 的 AI 版，訓練資料污染就是供應鏈攻擊，而 LLM08 過度授權問題則是最小權限原則的再次回歸。資安從業者無需從零開始，只需將已有的思維框架遷移到新技術上即可。
在防禦設計上，講者提出了基於零信任（Zero Trust）的四支柱架構：第一，所有輸入不論來源一律消毒；第二，AI 系統僅獲授予完成當前任務所需的最低權限；第三，AI 產生的所有輸出也必須驗證過濾；第四，全面記錄與監控所有互動行為。其中「信任層級」的概念尤為重要——系統提示可被視為可信基礎，但使用者輸入、外部文件、爬取的網頁內容，全部預設為不可信。間接提示注入正是利用這個盲點，將惡意指令藏進 AI 會主動讀取的第三方資料中，因此輸出端的驗證與輸入端的消毒同等重要。
在主動測試層面，講者說明了 AI Red Teaming 的定位：這是一個合法、有授權、有方法論的測試流程，目標是在受控環境中找出模型弱點，性質等同於傳統滲透測試。實際練習必須在合法沙盒平台上進行，例如 Lakera Gandalf 或 OWASP 提供的易受攻擊應用程式，而非對生產環境進行未授權測試。講者以一句話總結整個防禦哲學：「信任，但永遠、永遠要確認。」
---
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
