KeyFrame內部研究專用

Claude Fable 5 Security Governance: Export Controls, Jailbreak Risks, and AI Model Protection

Pochao Hsu4 min中文
觀看原始影片

三句話摘要

Claude Fable 5與Mythos 5模型因安全漏洞被禁用後的重新開放過程,以及背後的AI安全治理與出口管制問題。 --- Fable 5的重新開放不僅是產品管理問題,而是AI治理如何在防止濫用與保留功能、防禦需求與日常工作之間取得平衡的關鍵壓力測試。 高階AI模型安全防護的灰色地帶:Fable 5的安全漏洞並非模型級別獨有,Claude Opus 4.8等低階模型也能識別與演示軟體漏洞。真正的挑戰不在於技術能力本身,而在於如何定義「協助防御」與「自動化攻擊」之間的邊界,這個邊界往往不是黑白分明,而充滿灰色地帶。

重點整理

  1. 高階AI模型安全防護的灰色地帶:Fable 5的安全漏洞並非模型級別獨有,Claude Opus 4.8等低階模型也能識別與演示軟體漏洞。真正的挑戰不在於技術能力本身,而在於如何定義「協助防御」與「自動化攻擊」之間的邊界,這個邊界往往不是黑白分明,而充滿灰色地帶。

  2. AI安全向制度化治理演進:Anthropic建立了基於能力增益、增益廣度、武器化難易度與可發現性的共識評估框架,並在HackerOne開設漏洞回報計畫,標誌著AI模型安全從臨時處理走向類似傳統軟體安全的制度化管理。

  3. 政策響應的快速與複雜性:從6月9日發布到6月12日暫停再到7月1日重新開放,僅三週時間完成整個流程,反映出高階AI模型在出口管制和政策審查上的優先級與複雜程度。

  4. 安全防護的雙刃劍困境:新的安全分類器雖能有效攔截已知漏洞手法,但也容易在日常編程與除錯時誤判正常請求為高風險,這是AI治理最難解決的平衡問題——既要防止濫用,又不能過度阻礙正常使用。

  5. --

實用技巧與重點

  • 時間線與事件
  • 6月9日:Fable 5與Mythos 5發布
  • 6月12日:應出口管制全面暫停
  • 7月1日:Fable 5重新開放(耗時3週)
  • 模型分層
  • Mythos 5:防護少,僅給Project Glaswing少數受信夥伴使用,用於防禦性資安任務
  • Fable 5:加強防護,開放給一般使用者
  • 共用底層模型,差別在安全防護程度
  • 複現能力
  • Claude Opus 4.8、Gemini 2.5、Claude 2.7等低階模型也能完成漏洞識別與演示
  • 新防護機制
  • 安全分類器(自動守門員)可判斷請求是否涉及高風險行為
  • 99%以上情況下可攔截原始報告的特定繞過手法
  • 高風險請求被攔截後改由Claude Opus 4.8處理,用戶收到封鎖通知
  • 重新開放條件
  • 付費用戶可將周訂閱限額的50%用於Fable 5試用
  • 適用對象:Pro、Max、Team及部分Enterprise進階席次
  • 非額外贈送,與其他Claude模型共用同一份周限額
  • 恢復範圍
  • 已恢復:網頁版、行動版、桌面版、Claude Code、Claude Design、Claude Code Work、Claude for Microsoft 365
  • 未恢復:AWS、Google Cloud、Microsoft Foundry三大雲端通路
  • 評估框架維度
  • 能力增益
  • 增益廣度
  • 武器化難易度
  • 可發現性
  • 安全回報計畫
  • HackerOne新計畫鼓勵研究人員回報Fable 5中的潛在漏洞手法
  • --

結論

Fable 5的重新開放不僅是產品管理問題,而是AI治理如何在防止濫用與保留功能、防禦需求與日常工作之間取得平衡的關鍵壓力測試。

完整解析

Anthropic的Fable 5與Mythos 5模型在6月9日發布後,三天內因安全漏洞而被暫停出口,這個事件深刻反映了當前高階AI模型面臨的治理挑戰。危機的觸發點來自亞馬遜研究團隊的發現——他們識別出特定的提示手法能夠繞過Fable 5的部分安全防護,讓模型識別軟體漏洞,甚至生成漏洞利用代碼。這看似是一個重大的安全缺陷,但事實要更加微妙。

經過與美國政府和亞馬遜等合作夥伴的審查,Anthropic認定這不是Fable 5或Mythos級別模型獨有的危險能力。更低階的模型如Claude Opus 4.8、Gemini 2.5和Claude 2.7都能完成類似的漏洞識別與演示。Fable 5和Mythos 5共享相同的底層模型,唯一的差異在於安全防護等級——Fable 5施加了更嚴格的約束用於開放給一般使用者,而Mythos 5的防護較少,僅限於Project Glaswing中少數受信夥伴用於防禦性工作。這種設計體現了按風險等級分層開放的原則。

為了安全地重新開放Fable 5,Anthropic與美國政府合作訓練了新的安全分類器,這個系統的作用就像一個自動守門員,能夠評估用戶請求是否涉及高風險行為。當分類器判定請求為高風險時,系統會攔截Fable 5的處理,改由Claude Opus 4.8來響應,用戶則收到阻止通知。根據Anthropic的數據,新分類器在超過99%的情況下能夠攔截原始報告中的特定繞過手法。這是一個相當有效的防護成果。

然而,強化安全防護也帶來了新的問題。分類器可能會對日常編程工作中的正常請求過度敏感,導致工程師在進行正常的除錯和開發時被系統誤判為高風險操作。這正是AI安全治理最困難的核心——如何在允許模型協助防禦性工作與防止濫用之間找到平衡。為此,Anthropic正與亞馬遜、微軟、Google等Glaswing合作夥伴建立一套關於漏洞嚴重程度的共識評估框架,評估維度包括能力增益、增益廣度、武器化難易度和可發現性。同時,Anthropic在HackerOne啟動了新的漏洞回報計畫,鼓勵研究人員回報Fable 5中的潛在繞過手法,這標誌著AI模型安全正在從臨時處理逐步演進為制度化治理,更接近傳統軟體安全的漏洞回報生態。

---

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI