KeyFrame內部研究專用

史上最危险的开源AI?GLM 5.3不仅会编程,还能自动挖洞,这是现实版“赛博杀手”!⚡💀

新世界12 min中文
觀看原始影片

三句話摘要

智譜GLM-5.3開源模型發布:後訓練突破導致漏洞發現與利用能力意外躍進,激化開放模型的安全困局。 GLM-5.3證明後訓練能力可以超越參數規模,但同時揭示開源大模型的根本困境:無法區分工程師工具與攻擊工具,真正的安全防線必須靠運行環境隔離與權限控制而非模型本身。 後訓練路線突破 — GLM-5.3的進步源自後訓練而非參數擴展。團隊將訓練任務從考試題轉向真實軟體工程環境(讀倉庫、理解依賴、運行命令、修改文件、根據測試反覆調整),讓模型在長鏈多步驟工作中持續試錯,展示了不依賴模型規模擴張的能力進化路徑。

重點整理

  1. 後訓練路線突破 — GLM-5.3的進步源自後訓練而非參數擴展。團隊將訓練任務從考試題轉向真實軟體工程環境(讀倉庫、理解依賴、運行命令、修改文件、根據測試反覆調整),讓模型在長鏈多步驟工作中持續試錯,展示了不依賴模型規模擴張的能力進化路徑。

  2. 漏洞能力湧現 — 模型在網路安全領域的突破超過設計預期。它從簡單的漏洞指出進化到完整的漏洞鏈構造、輸入繞過與利用,在CyberGem達84.5分(前代77.2分),在ExpoBench飆升至54.4分(前代24.4分,增幅超100%)。

  3. 開放與安全的困境 — 權重開源後,部署者可移除拒答、修改系統提示、在離線環境運行,模型公司無法控制用途。攻擊者與防守者都將受益於自動化漏洞發現,但由於無法受監控,攻擊者的風險擴大空間更大。

  4. 防線需落在環境外 — 有效安全防措無法靠模型設計本身解決,因為安全能力與工程能力不可分。真正防線需要預設隔離、權限最小化、人工確認高風險操作、審計記錄,以及為機器速度重新定義漏洞披露流程。

實用技巧與重點

  • 技術基礎:沿用GLM-5.2底座,所有主要提升來自後訓練階段
  • 測試成績:
  • 內部Codebench 提升約50%
  • CyberGem 84.5分(vs 5.2的77.2分)
  • ExpoBench 54.4分(vs 5.2的24.4分)
  • Exploit GYM 2小時完成105項、6小時完成130項
  • 安全發現:
  • 累計追蹤2,436項發現
  • 53項已公開、2,383項保密揭露中
  • 1,097項高危險或嚴重級別
  • 涉及269個開源項目、累計影響年資45年
  • 發布時間:完成安全評估與加固後,於發布後兩週開放權重
  • 工作流能力:閱讀倉庫 → 理解依賴 → 運行命令 → 查看報錯 → 修改文件 → 根據測試調整

結論

GLM-5.3證明後訓練能力可以超越參數規模,但同時揭示開源大模型的根本困境:無法區分工程師工具與攻擊工具,真正的安全防線必須靠運行環境隔離與權限控制而非模型本身。

完整解析

智譜發布的GLM-5.3標誌著開源模型的一次重要轉折。表面上,這次發布展現了開放模型在程式設計領域的進步,內部測試相比前代提升約50%;但更值得關注的是發生在此過程中的另一場革命——模型對網路安全任務的意外突破。

GLM-5.3的技術亮點在於採用了不同於傳統的改進路線。與其追求更大參數規模和更多訓練數據,智譜選擇沿用GLM-5.2的底座,重點投入後訓練階段。團隊擴大了強化學習環境,加入真實軟體工程任務,讓模型在長時間、多步驟的工作中持續試錯。這方法的核心在於改變訓練任務本質——從傳統考試題轉向真實工程環境。傳統程式碼測試通常給模型一個清楚問題再檢查答案正確性,但真實工程遠複雜得多:模型需要閱讀倉庫、理解依賴、運行命令、查看報錯、修改文件,再根據測試失敗重新調整。每一步都是試錯機會,任何一步出錯都會讓後續工作全部失效。

真正意外的變化發生在網路安全領域。程式設計和漏洞利用原本就相鄰——能夠理解大型程式碼庫、追蹤資料流、運行調試器並修改程序的模型,自然也可能發現邊界檢查缺失、權限判斷錯誤和記憶體處理漏洞。區別僅在於目標方向:修復代碼時尋找恢復正常方法,攻擊系統時尋找按攻擊者意圖運行的方法。當訓練環境擴大後,GLM-5.3沒有只學會發現可疑函數,而是開始把偵查、確認漏洞、構建輸入、繞過限制和取得執行結果串成完整的鏈。在CyberGem測試達84.5分、在ExpoBench飆升至54.4分(增幅超100%),這份進步超過了設計預期。

然而,進步背後隱藏著整個產業最尖銳的問題。託管模型可以限制請求、監控使用、凍結帳號,發現風險後也能更新規則。但權重下載後,部署者能移除拒答、修改系統提示、在離線環境運行。模型公司將無法知道它被用來修復漏洞還是尋找未公開入口。網路安全能力並非可單獨刪除的按鈕——讓模型更會寫程式碼、操作終端、理解系統,它就會同時更懂攻擊。有效安全防措不能靠模型設計本身解決,因為這兩種能力不可分。真正防線需要預設隔離、權限最小化、人工確認高風險操作、審計記錄,以及為機器速度重新定義漏洞披露流程——發現越自動化,驗證與溝通越不能被省掉。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI