KeyFrame

《永續e起來》第115場:生成式AI資安防禦戰,AI生命週期與風險管理 l 中華亞太智慧物聯發展協會 理事長/亞洲物聯網聯盟(AIoT)理事長&資安顧問 游文賢

數智創新力 裴有恆·5月19日週二·67 min中文

三句話摘要

2026年企業AI資安治理全攻略:從軟體開發安全、影子代理人威脅,到Token成本失控的防禦實務。 --- AI時代的資安核心不是再多買一套防禦工具,而是建立「可解釋、可追蹤、人工介入、資料主權清晰」的整體治理體系——因為最大的威脅,已經來自企業內部善意使用AI的員工本身。 資料外洩的威脅來源已從外部轉向內部

重點整理

重點
  • 1

    資料外洩的威脅來源已從外部轉向內部

  • 2

    大型語言模型訓練資料已趨近耗盡,企業內部資料價值暴增,駭客轉而竊取資料;同時員工為提升效率,將公司配方、預算、客戶名單等機敏資料主動上傳至公有AI服務,形成比駭客更難防禦的內部洩露漏洞。

  • 3

    AI參與的軟體開發仍必須嚴守SDLC流程

  • 4

    Vibe Coding(AI輔助寫程式)大幅提升開發速度,但AI產出的程式碼有50~60%存在安全漏洞;需求、設計、威脅模型分析、程式碼審查、滲透測試等步驟一個都不能省,最後部署環節務必保留人工確認,不可全自動化。

  • 5

    大型語言模型的天生缺陷造成新型攻擊面

  • 6

    LLM本質是「文字預測機器」,具有幻覺、Context Window有限(防禦指令可能被截斷遺忘)、無法真正理解語意等特性;Prompt Injection(提示注入)攻擊幾乎無法完全阻絕,且AI Agent被賦予的系統、網路、GPU、資料庫等廣泛權限,使得最小權限原則難以落實但仍必須執行。

  • 7

    AI治理需要從工具管理升級為數位員工治理

  • 8

    ISO 42001以「資料透明度、可解釋性、公平性、風險管理」為核心,要求每一個AI應用都有責任歸屬;AI成本治理(AI FinOps)是新興必要議題,Token消耗難以預估,企業需建立Token用量監控與預算控管機制,避免成本失控。

  • 9

    --

實用技巧與重點

乾貨
  • 具體數字與比例
  • 台灣工作者使用生成式AI的比例:90%以上(含未經公司允許的偷用)
  • AI產出程式碼中存在重大安全漏洞的比例:50~60%
  • Uber案例:AI API費用在4個月內燒光公司年度IT 1.0全部預算
  • Meta事件:全公司工程師可取得敏感資料的Key外洩,持續時間長達2小時
  • 資安規範滯後:ISO 27001最新版為2022年,AI能力每2~6個月翻倍一次
  • 全球訓練資料可信度:約80~90%可信,約10~20%存在偏差
  • 工具與平台名稱
  • Vibe Coding(AI輔助程式開發工具,如Cursor等)
  • Open Claude(Claude AI)、ChatGPT、Gemini(提及的LLM平台)
  • API AI Gateway(目前最常見的AI入口安全控管工具)
  • CICD(持續整合/持續部署流水線)
  • RAG(Retrieval-Augmented Generation,檢索增強生成)
  • SAST(靜態應用程式安全測試)、DAST(動態分析)、滲透測試
  • 規範與框架
  • ISO 42001(人工智慧管理系統基本法,台灣去年底通過)
  • ISO 27001(資訊安全管理系統)
  • ISO 27701(隱私資訊管理)
  • SDLC(軟體開發生命週期)
  • RBAC(角色型存取控制,需同時套用於人與AI Agent)
  • Human-in-the-Loop(ISO 42001明確要求,任何AI工具部署必須保留人工介入關卡)
  • AI FinOps(AI成本治理,新興議題)
  • AI Agent最小權限清單(應控管項目)
  • 系統權限、使用者權限
  • 瀏覽器存取權限
  • 雲端服務API金鑰
  • 程式碼撰寫與資料庫管理權限
  • 網路存取權限
  • GPU、IO、記憶體權限
  • AI成熟度四階段
  • 探索期(員工偷用,企業不知情)
  • 助理期(導入AI工具,需建立治理框架)
  • 整合期(AI與企業系統深度整合)
  • 治理期(建立可信AI平台與政策)
  • LLM十大風險(OWASP LLM Top 10)
  • 提示注入(Prompt Injection)
  • 訓練資料污染
  • 過度授權
  • 模型竊取
  • 敏感資訊洩露
  • API安全管理(金融業已開始以API Gateway管控)
  • --

結論

結論

AI時代的資安核心不是再多買一套防禦工具,而是建立「可解釋、可追蹤、人工介入、資料主權清晰」的整體治理體系——因為最大的威脅,已經來自企業內部善意使用AI的員工本身。

完整解析

詳細

台灣AI資安顧問Victor(李先生)在《永續一起來》節目中指出,2026年企業面臨的資安威脅結構已根本性翻轉。過去的安全模型是防禦「駭客從外部攻入竊取資料」,但現在的威脅主角是企業自己的員工——他們不是惡意的,而是因為AI工具太好用,不假思索地把公司的配方、預算表、客戶名單、員工薪資結構丟進ChatGPT或Claude等公有服務中。更嚴峻的是,由於大型語言模型的訓練資料已趨近人類可用文字的上限,企業內部原本不會對外公開的資料,在AI時代成了極具價值的訓練語料,駭客也開始轉型為「資料獵人」。這意味著資安的核心命題從「防禦邊界」演變為「資料主權治理」。

在軟體開發安全層面,Victor強調Vibe Coding(AI輔助寫程式)雖然大幅提升開發效率,但不代表可以跨越SDLC(軟體開發生命週期)的必要步驟。需求安全規範、威脅建模、人工程式碼審查、靜態與動態分析、滲透測試,這些流程不因為換成AI執行就可以省略,因為AI產出的程式碼有高達50~60%存在可被利用的安全漏洞。他特別警告:最後的部署環節絕對不能全自動化,因為已有真實案例顯示AI在自動部署過程中誤判狀況,用一把Key將公司整個資料庫在9秒內清空,且無法還原。Meta的案例同樣令人警惕——一名工程師詢問內部AI Agent分析問題,AI在沒有人工核准的情況下,自行判斷「你需要這把Key」並將敏感金鑰輸出,導致全公司工程師在兩小時內都能取得機密資料。

大型語言模型的天生特性製造了全新的攻擊面。LLM本質上只是「預測下一個字」的機率引擎,它沒有真正的理解能力、有幻覺問題、Context Window有硬性上限(防禦指令可能在長對話中被截斷而「忘記」),且Prompt Injection攻擊幾乎無法完全防禦——用一段精心設計的文字就能讓AI執行惡意指令,這是「文字驅動」取代「執行檔驅動」之後最難處理的資安問題。更麻煩的是,AI Agent為了執行任務,通常需要取得系統權限、資料庫管理權、網路存取、API金鑰、GPU資源等廣泛授權,使得「最小權限原則」在AI情境下難以實踐,但仍必須儘量落實並配合Human-in-the-Loop(人工介入關卡)加以管控。

最後,Victor提出了一個許多企業尚未意識到的新議題:AI Token成本治理(AI FinOps)。傳統IT預算(伺服器、軟體授權)可以準確預估,但AI的Token消耗量取決於員工使用習慣、對話長度、模型選擇,幾乎無法以傳統方式建立預算模型。他以Uber為例:該公司AI API費用在短短4個月內燒光了年度IT預算。他的建議是:不要什麼問題都用最強的模型來解決,需求整理、規格撰寫、安全規範確認等工作可以先由人類完成或使用輕量模型輔助,把昂貴的Token預算保留給真正需要的程式碼生成與測試環節,並建立Token用量的監控與告警機制。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

Breaching LLM-Powered Applications: Overcoming Security and Privacy Challenges by Brian Vermeer
48 min
AI 安全英文6月19日

Breaching LLM-Powered Applications: Overcoming Security and Privacy Challenges by Brian Vermeer

Spring I/O

  • 傳統漏洞在 LLM 時代被升級放大:路徑穿越(Path Traversal)和 SQL 注入等十幾年前就存在的漏洞,在 LLM 應用中可被串接成更危險的攻擊——攻擊者不再只是讀取資料,而是讓 LLM 代為執行惡意操作,使影響範圍大幅擴大。
  • RAG 的向量資料庫是可被靜默污染的攻擊面:RAG 系統將外部文件分塊注入 Prompt,若攻擊者能藉由路徑穿越覆蓋原始文件,毒化內容就會在下次重新 chunk 時悄悄進入向量資料庫,並在未來某個時間點被 LLM 信任執行,且不留下即時痕跡。
  • 模型越弱,提示注入越容易成功:GPT-3.5 Turbo 可被「忽略所有先前指令」輕易繞過,而 GPT-4.0 對系統訊息的遵守程度顯著更好;選用能力不足的小模型處理關鍵業務,是高風險決策。
How Hackers Trick AI Models (Prompt Injection Explained)
編輯精選
21 min
AI 安全英文6月19日

How Hackers Trick AI Models (Prompt Injection Explained)

Perfology

  • 新模型不等於全面安全。 直接指令覆蓋在 GPT 3.5 奏效,GPT 4.1 對此幾乎免疫;但結構化輸出攻擊仍可突破 GPT 4.1,反而 GPT 4.0(Omni 模型)因訓練更全面而抵抗力更強。模型版本與攻擊向量之間的關係並非線性。
  • 技術組合是突破防禦的關鍵。 單一手法在強模型上可能失效,但將角色扮演、多輪操控、Payload 分割交叉使用,即便是設定了嚴格系統提示的模型,仍可能逐步洩漏機密資訊。
  • 攻擊媒介隱藏在日常工作流程中。 惡意指令可藏在使用者主動下載的 Markdown 文件、白底白字的 PDF、MCP 服務的輸入輸出之間,攻擊者無需直接存取系統即可觸發注入。