KeyFrame內部研究專用

Fable 5 is back

Prompt Engineering11 min英文
觀看原始影片

三句話摘要

Anthropic 重新部署改進版 Fable 5 並建立行業共識框架,應對 AI 模型的安全漏洞與網路安全風險。 Fable 5 的下架與重新部署不只是 Anthropic 的單獨事件,而是揭示了整個業界面臨的共同挑戰——建立統一的安全評估標準和政府監管框架,以在釋放強大模型能力與防止濫用之間找到平衡。 漏洞並非 Fable 特有問題:Amazon 發現的漏洞並不只存在於 Fable 5,包括較低能力的模型如 Kimi 2.7(開源模型)都暴露相同漏洞,這表示隨著更強大的開源模型發展,類似的限制措施可能會擴大。

重點整理

  1. 漏洞並非 Fable 特有問題:Amazon 發現的漏洞並不只存在於 Fable 5,包括較低能力的模型如 Kimi 2.7(開源模型)都暴露相同漏洞,這表示隨著更強大的開源模型發展,類似的限制措施可能會擴大。

  2. 多層防禦策略升級:Anthropic 不僅在模型層面進行微調,更重要的是改進分類器的嚴格程度,使原本允許 50% 良性請求的系統,現在會更激進地阻擋任何可能涉及網路安全的內容,形成多層防禦機制。

  3. 建立業界共識框架:當前業界缺乏統一的 jailbreak 嚴重性定義標準,導致應對混亂。Anthropic 與 Amazon、Microsoft、Google 等合作制定框架,從能力增益、應用廣度、易用性、可發現性四個維度評估漏洞,期望邀請 OpenAI 等其他機構參與。

  4. 政府關係深化與規範化:Anthropic 將與美國政府進行緊密合作,包括提前提供模型評估、快速分享安全資訊、聯合研究,以及推動自願性(但實質上將成為強制性)的安全評估標準,這預示著 frontier 模型的監管將趨於嚴格。

實用技巧與重點

  • 時間節點:Fable 5 原定開放兩週,現改為一週;7 月 31 日重新部署
  • 使用限制:訂閱用戶一週內限制 50% 的週度使用額度;之後需使用點數
  • 受影響的模型:Claude Opus 4.8、GPT 5.5、Kimi 2.7 均存在類似漏洞
  • 分類器改進:從允許 50% 良性請求的寬鬆策略,改為對網路安全相關內容的激進阻擋
  • jailbreak 嚴重性評估維度:能力增益(Capability Gains)、應用廣度(Breadth of Capability Gain)、易用性(Ease of Urbanization)、可發現性(Discoverability)
  • 合作公司:Amazon、Microsoft、Google、Glasswing 等
  • 政府合作內容:提前評估、快速資訊共享、聯合研究、安全評估標準

結論

Fable 5 的下架與重新部署不只是 Anthropic 的單獨事件,而是揭示了整個業界面臨的共同挑戰——建立統一的安全評估標準和政府監管框架,以在釋放強大模型能力與防止濫用之間找到平衡。

完整解析

6 月 12 日發布的 Fable 5 因其強大能力在網路安全領域表現出色,但隨即遭遇安全危機。Amazon 的研究人員發現了一種繞過其安全防護的方法,迫使 Anthropic 在短短數週後下架該模型。但值得注意的是,這個漏洞並非 Fable 5 獨有。經過驗證,包括 Claude Opus 4.8、OpenAI 的 GPT 5.5 以及中國的 Kimi 2.7 等能力相對較弱的模型都存在同樣的漏洞。這一發現揭示了一個關鍵問題:隨著開源強大模型的發展,類似的安全限制措施可能會普遍化。

Anthropic 的應對方案是多管齐下的。在模型層面,他們訓練 Fable 5 對網路安全相關請求進行拒絕。更關鍵的是,他們重新設計並改進了部署在模型上方的分類器。原本這個分類器的安全邊界較寬,允許約 50% 的網路安全相關查詢通過。新版本則採取激進的策略,任何分類器認定可能涉及網路安全的內容都會被阻擋。這意味著用戶將遇到更多的拒絕,即使是一些良性的請求也可能被誤判。Anthropic 將此與其他防禦層相結合,包括細粒度的規則和持續更新,以應對新型的 jailbreak 技術。

更宏觀的層面上,Anthropic 認識到業界缺乏統一的 jailbreak 評估標準,導致當新漏洞被發現時,開發者和政府都無法達成共識。為解決這一問題,他們與 Amazon、Microsoft、Google 以及 Glasswing 等企業合作,制定了一套共識框架。該框架從四個維度評估漏洞的嚴重性:能力增益(漏洞能否讓模型超越現有工具)、應用廣度(漏洞對多少種不同任務有效)、易用性(需要多少專業知識)和可發現性(有多容易被發現)。Anthropic 邀請包括 OpenAI 和其他實驗室在內的所有業界夥伴參與,希望這套框架能為整個生態帶來更多透明度。

最後,Anthropic 宣佈將與美國政府進行更深層次的合作,包括在 frontier 模型的預發布階段提供政府評估、快速分享安全信息、聯合開展 AI 安全研究,以及推動建立業界統一的自願性安全評估標準。雖然名義上是「自願」,但實際上這將成為提供高能力模型的政府要求。這表明 AI 模型的監管正走向更正式、更規範化的時代。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。