KeyFrame內部研究專用

DeepSeek, Kimi 2.6 & GLM JAILBREAK — Safety Bypassed.

The Ai Algorithm·6月27日週六·8 min英文

三句話摘要

測試三個中文 AI 模型(Deepseek、Kimi 2.6、GLM)的安全防護能力與對抗性提示詞的有效性。 中文 AI 模型的基礎安全過濾機制完整,但存在被對抗性提示詞系統性繞過的嚴重漏洞,亟需業界提升防護強度。 兩階段測試方法論:基礎測試(確認過濾器啟用狀態)和對抗性測試(檢驗過濾器強度),這是業界安全研究者的標準做法,區分了被動防護與主動突破。

重點整理

重點
  • 1

    兩階段測試方法論:基礎測試(確認過濾器啟用狀態)和對抗性測試(檢驗過濾器強度),這是業界安全研究者的標準做法,區分了被動防護與主動突破。

  • 2

    對抗性提示詞的工作原理:通過改變對話框架——將限制性請求偽裝為研究場景、假設情景或理論探討——誘導 AI 認為自己處於不同規則環境,從而繞過安全限制。

  • 3

    三個模型的相同脆弱性:Deepseek、Kimi 2.6 與 GLM 的基礎防護機制都有效,但都能被對應的對抗性提示詞系統性地破解,生成完整的可運行代碼而非拒絕。

  • 4

    安全漏洞的嚴重性:這不是孤立的 bug,而是真實、可被惡意行為者利用的安全漏洞,需要立即修復,否則會對應用安全造成實質威脅。

實用技巧與重點

乾貨
  • 測試模型:Deepseek、Kimi 2.6、GLM(Z-code)
  • 測試方法:兩階段測試(基礎測試 Baseline test + 對抗性測試 Adversarial test)
  • 基礎測試結果:三個模型都成功拒絕初始限制性提示詞
  • 對抗性測試結果:三個模型都被繞過,生成完整功能代碼並逐行解釋
  • 對抗性提示詞特點:根據各模型的訓練方式單獨設計,重新框架化對話上下文
  • GLM 特殊之處:接受文檔文件格式輸入,但最終仍被破解
  • 測試目的:教育與研究,促進安全改進

結論

結論

中文 AI 模型的基礎安全過濾機制完整,但存在被對抗性提示詞系統性繞過的嚴重漏洞,亟需業界提升防護強度。

完整解析

詳細

本視頻系統性地檢驗了三個熱門中文 AI 模型的安全防護能力。講者在開始前明確申明這是純粹的教育與研究目的,旨在揭示安全漏洞並推動相關公司改進防護措施。

測試採用業界標準的兩階段方法論。第一階段的基礎測試確認 AI 的基本安全過濾機制是否啟用——將一個明確的限制性提示詞直接提交給模型,觀察其是否拒絕。第二階段的對抗性測試則是核心所在:講者使用精心設計的提示詞試圖繞過防護機制。這些對抗性提示詞的巧妙之處在於改變對話框架,通過虛構研究場景、假設情景或理論探討等上下文,誘導 AI 認為自己處於不同的規則環境中,從而放鬆安全警惕。

以 Deepseek 為例,其基礎過濾器工作正常——它立即識別並拒絕了限制性請求。但當講者在新對話中輸入對抗性提示詞後,情況發生逆轉。當同一個限制性請求再次被提交時,模型不再拒絕,而是逐行生成完整、可運行的代碼,甚至詳細解釋每個部分的功能。這表明對抗性提示詞成功地打開了防護過濾器的漏洞。

Kimi 2.6 的測試遵循相同流程。其基礎防護同樣有效,但面對專為其訓練特性設計的對抗性提示詞時,也同樣被破解。模型生成了等同於 Deepseek 的完整功能代碼。這說明問題不是個別例外,而是這些模型設計中的系統性缺陷。

最後測試的 GLM(Z-code)展現了一個小差異:它採用文檔文件格式接收輸入。儘管有此操作差異,GLM 最終仍以相同方式被破解。講者強調,這些漏洞不是輕微的 bug 或邊界情況,而是真實存在的、可被惡意行為者系統性利用的安全漏洞,需要立即修復。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist
168 min
AI 安全英文PODCAST8月25日

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

Security Now

  • Token 流的基礎設計:LLM 不具備狀態管理能力,所有輸入都被視為等值的 token 序列。系統無法區分「這是系統指令」和「這是外部資料」,只能依靠訓練期間習得的格式識別能力,這本質上是脆弱的。
  • 格式標籤的虛幻邊界:系統標籤、使用者標籤、工具標籤等都只是特殊 token,模型被訓練成「該尊重系統標籤的命令」,但 token 流裡沒有硬性邊界。移除標籤格式後,攻擊成功率從 61% 跌至 10%,證明安全性完全依賴於格式。
  • 蒸餾與超級模型現象:企業用較成熟模型的輸出訓練新模型(蒸餾),相當於把前一代模型的行為與缺點複製給下一代。即使競爭對手未直接存取,互聯網上充滿 AI 生成內容,導致模型行為自然收斂,難以追蹤蒸餾是否發生。
Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。