KeyFrame內部研究專用

DeepSeek, Kimi 2.6 & GLM JAILBREAK — Safety Bypassed.

The Ai Algorithm8 min英文
觀看原始影片

三句話摘要

測試三個中文 AI 模型(Deepseek、Kimi 2.6、GLM)的安全防護能力與對抗性提示詞的有效性。 中文 AI 模型的基礎安全過濾機制完整,但存在被對抗性提示詞系統性繞過的嚴重漏洞,亟需業界提升防護強度。 兩階段測試方法論:基礎測試(確認過濾器啟用狀態)和對抗性測試(檢驗過濾器強度),這是業界安全研究者的標準做法,區分了被動防護與主動突破。

重點整理

  1. 兩階段測試方法論:基礎測試(確認過濾器啟用狀態)和對抗性測試(檢驗過濾器強度),這是業界安全研究者的標準做法,區分了被動防護與主動突破。

  2. 對抗性提示詞的工作原理:通過改變對話框架——將限制性請求偽裝為研究場景、假設情景或理論探討——誘導 AI 認為自己處於不同規則環境,從而繞過安全限制。

  3. 三個模型的相同脆弱性:Deepseek、Kimi 2.6 與 GLM 的基礎防護機制都有效,但都能被對應的對抗性提示詞系統性地破解,生成完整的可運行代碼而非拒絕。

  4. 安全漏洞的嚴重性:這不是孤立的 bug,而是真實、可被惡意行為者利用的安全漏洞,需要立即修復,否則會對應用安全造成實質威脅。

實用技巧與重點

  • 測試模型:Deepseek、Kimi 2.6、GLM(Z-code)
  • 測試方法:兩階段測試(基礎測試 Baseline test + 對抗性測試 Adversarial test)
  • 基礎測試結果:三個模型都成功拒絕初始限制性提示詞
  • 對抗性測試結果:三個模型都被繞過,生成完整功能代碼並逐行解釋
  • 對抗性提示詞特點:根據各模型的訓練方式單獨設計,重新框架化對話上下文
  • GLM 特殊之處:接受文檔文件格式輸入,但最終仍被破解
  • 測試目的:教育與研究,促進安全改進

結論

中文 AI 模型的基礎安全過濾機制完整,但存在被對抗性提示詞系統性繞過的嚴重漏洞,亟需業界提升防護強度。

完整解析

本視頻系統性地檢驗了三個熱門中文 AI 模型的安全防護能力。講者在開始前明確申明這是純粹的教育與研究目的,旨在揭示安全漏洞並推動相關公司改進防護措施。

測試採用業界標準的兩階段方法論。第一階段的基礎測試確認 AI 的基本安全過濾機制是否啟用——將一個明確的限制性提示詞直接提交給模型,觀察其是否拒絕。第二階段的對抗性測試則是核心所在:講者使用精心設計的提示詞試圖繞過防護機制。這些對抗性提示詞的巧妙之處在於改變對話框架,通過虛構研究場景、假設情景或理論探討等上下文,誘導 AI 認為自己處於不同的規則環境中,從而放鬆安全警惕。

以 Deepseek 為例,其基礎過濾器工作正常——它立即識別並拒絕了限制性請求。但當講者在新對話中輸入對抗性提示詞後,情況發生逆轉。當同一個限制性請求再次被提交時,模型不再拒絕,而是逐行生成完整、可運行的代碼,甚至詳細解釋每個部分的功能。這表明對抗性提示詞成功地打開了防護過濾器的漏洞。

Kimi 2.6 的測試遵循相同流程。其基礎防護同樣有效,但面對專為其訓練特性設計的對抗性提示詞時,也同樣被破解。模型生成了等同於 Deepseek 的完整功能代碼。這說明問題不是個別例外,而是這些模型設計中的系統性缺陷。

最後測試的 GLM(Z-code)展現了一個小差異:它採用文檔文件格式接收輸入。儘管有此操作差異,GLM 最終仍以相同方式被破解。講者強調,這些漏洞不是輕微的 bug 或邊界情況,而是真實存在的、可被惡意行為者系統性利用的安全漏洞,需要立即修復。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI