KeyFrame內部研究專用

Deep Dive into Anthropic’s Security Audit: Vulnerability Testing for GPT, Claude, and Kimi; From ...

AI启示录7 min中文
觀看原始影片

三句話摘要

Claude 5 安全檢驗重新架構,Kimi 進入全球頂級模型對標測試,標誌著 AI 競爭從能力排名轉向生產系統可用性的轉折點。 大模型的競爭中心已從「誰最聰明」轉向「誰能被大規模、長期、低成本、安全地調用」,中國模型在進入全球生產系統的路上達成了從替代品到標準配置的身份轉變。 安全邊界的無法絕對化:模型越強,用於防禦和攻擊的邊界就越模糊。同一個漏洞識別能力,在安全工程師手中是防禦,在攻擊者手中是風險。Anthropic 的解決方案不只是修補漏洞,而是重新訓練分類器以增強可控性,這代表頂級 AI 公司的競爭已進入「可管理的強度」階段。

重點整理

  1. 安全邊界的無法絕對化:模型越強,用於防禦和攻擊的邊界就越模糊。同一個漏洞識別能力,在安全工程師手中是防禦,在攻擊者手中是風險。Anthropic 的解決方案不只是修補漏洞,而是重新訓練分類器以增強可控性,這代表頂級 AI 公司的競爭已進入「可管理的強度」階段。

  2. 中國模型的身份轉變:Kimi K2.7 被 Anthropic 官方文件納入全球頂級模型對標測試,這不是營銷宣傳,而是在國際頂級公司的安全危機復盤中被迫認可。這標誌著中國模型正從「便宜替代品」轉變為「生產系統選項」。

  3. 默認選項的隱形支配力:Coinbase 的案例表明,美國上市公司不再在實驗室測試中國模型,而是在核心工程基礎設施中設為默認選項,實現 AI 成本從峰值壓縮至接近一半,同時 91% 工程師未觸及上限。這說明「被選中成為默認」比「贏得一次排名」更具商業價值。

  4. 全球 AI 供應鏈的重組:美國公司定義安全標準和治理框架,中國模型以成本、開源、生態友善搶占開發者工作流。真正改變世界的不是發布會上的旗艦模型,而是每天被調用卻無人關注的那一個。

實用技巧與重點

  • Anthropic 官方數據:
  • 新分類器對高風險網路安全/生物化學能力的阻斷率:超 99%
  • 涉及的模型名單(安全測試對標):
  • Claude 5, Claude Opus 4.8, Claude Haiku, Claude Sonnet
  • GPT-5.4, GPT-5.5
  • Kimi K2.7
  • 其他更弱能力模型
  • Coinbase 案例:
  • 設為默認選項的中國模型:GLM-5.2、Kimi K2.7
  • AI 開支壓縮比:峰值至接近 50%
  • 未觸及原有額度上限的工程師比例:91%
  • CEO:Brian Armstrong
  • 實現方法:LLM 網關、任務路由、緩存優化、削減上下文長度
  • 觸發事件:
  • Amazon 研究人員發現繞過 Claude 5 安全防護的方法
  • 涉及的能力:軟體漏洞識別、掩飾漏洞利用代碼生成

結論

大模型的競爭中心已從「誰最聰明」轉向「誰能被大規模、長期、低成本、安全地調用」,中國模型在進入全球生產系統的路上達成了從替代品到標準配置的身份轉變。

完整解析

Claude 5 的重新上線本應是一次簡單的王者回歸,但 Anthropic 的復盤揭露了一個更廣泛的產業信號。事件起於 Amazon 研究人員發現了一種繞過 Claude 5 安全防護的方法,使模型能夠識別軟體漏洞並生成掩飾性程式碼。Anthropic 隨即澄清,這不是 Claude 5 獨有的黑客能力,而是常規的防禦性網路安全能力,許多模型都具備。然而,Anthropic 的應對方式值得注意——他們不只修補這個漏洞,而是重新訓練了整個安全分類器,使其對高風險請求的阻斷率超過 99%。這個舉動表明,頂級 AI 公司已經進入可管理強度的競爭階段。

更有意思的是,Anthropic 在復盤測試中發現,Claude Opus 4.8、GPT-5.5、Kimi K2.7 等多個模型都具備類似的能力。為了證明 Claude 5 並未釋放獨有的危險能力,Anthropic 官方文件中明確將這些模型列為對標對象。這個舉動具有深遠的意義——Kimi K2.7 第一次被納入全球頂級 AI 公司的正式安全對標測試表。這不是國內的自我吹捧,也不是遙遙領先的修辭,而是在國際頂級公司的安全危機復盤中被迫承認的事實。

同時進行的是另一場更靜默但同樣重要的轉變。Coinbase CEO Brian Armstrong 公開披露了他們控制 AI 成本的方法,核心是在工程基礎設施中建立 LLM 網關,將 Kimi K2.7 和 GLM-5.2 設為默認選項。通過任務路由和緩存優化,他們將 AI 開支從峰值壓縮至接近一半,同時 91% 的工程師甚至未觸及原有的額度上限。這個案例表明,中國模型不再是實驗室裡的測試對象,而是正式進入美國上市公司的生產系統。

這些信號合在一起,指向了 AI 產業的新秩序。美國頂級公司正在定義安全標準和治理框架,邀請 Amazon、Microsoft、Google 等夥伴共同評估 AI 風險邊界。與此同時,中國模型則以成本、開源權重和工程友善性,悄悄挤進全球開發者的工作流。一個在定義能力上限,一個在搶占默認入口。真正改變世界的 AI 往往不是發布會上看到的那一個,而是你每天都在用卻已遺忘其存在的那一個。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI