KeyFrame內部研究專用

史上最危险的开源AI?GLM 5.3不仅会编程,还能自动挖洞,这是现实版“赛博杀手”!⚡💀

新世界·8月15日週六·12 min中文

三句話摘要

智譜GLM-5.3開源模型發布:後訓練突破導致漏洞發現與利用能力意外躍進,激化開放模型的安全困局。 GLM-5.3證明後訓練能力可以超越參數規模,但同時揭示開源大模型的根本困境:無法區分工程師工具與攻擊工具,真正的安全防線必須靠運行環境隔離與權限控制而非模型本身。 後訓練路線突破 — GLM-5.3的進步源自後訓練而非參數擴展。團隊將訓練任務從考試題轉向真實軟體工程環境(讀倉庫、理解依賴、運行命令、修改文件、根據測試反覆調整),讓模型在長鏈多步驟工作中持續試錯,展示了不依賴模型規模擴張的能力進化路徑。

重點整理

重點
  • 1

    後訓練路線突破 — GLM-5.3的進步源自後訓練而非參數擴展。團隊將訓練任務從考試題轉向真實軟體工程環境(讀倉庫、理解依賴、運行命令、修改文件、根據測試反覆調整),讓模型在長鏈多步驟工作中持續試錯,展示了不依賴模型規模擴張的能力進化路徑。

  • 2

    漏洞能力湧現 — 模型在網路安全領域的突破超過設計預期。它從簡單的漏洞指出進化到完整的漏洞鏈構造、輸入繞過與利用,在CyberGem達84.5分(前代77.2分),在ExpoBench飆升至54.4分(前代24.4分,增幅超100%)。

  • 3

    開放與安全的困境 — 權重開源後,部署者可移除拒答、修改系統提示、在離線環境運行,模型公司無法控制用途。攻擊者與防守者都將受益於自動化漏洞發現,但由於無法受監控,攻擊者的風險擴大空間更大。

  • 4

    防線需落在環境外 — 有效安全防措無法靠模型設計本身解決,因為安全能力與工程能力不可分。真正防線需要預設隔離、權限最小化、人工確認高風險操作、審計記錄,以及為機器速度重新定義漏洞披露流程。

實用技巧與重點

乾貨
  • 技術基礎:沿用GLM-5.2底座,所有主要提升來自後訓練階段
  • 測試成績
  • 內部Codebench 提升約50%
  • CyberGem 84.5分(vs 5.2的77.2分)
  • ExpoBench 54.4分(vs 5.2的24.4分)
  • Exploit GYM 2小時完成105項、6小時完成130項
  • 安全發現
  • 累計追蹤2,436項發現
  • 53項已公開、2,383項保密揭露中
  • 1,097項高危險或嚴重級別
  • 涉及269個開源項目、累計影響年資45年
  • 發布時間:完成安全評估與加固後,於發布後兩週開放權重
  • 工作流能力:閱讀倉庫 → 理解依賴 → 運行命令 → 查看報錯 → 修改文件 → 根據測試調整

結論

結論

GLM-5.3證明後訓練能力可以超越參數規模,但同時揭示開源大模型的根本困境:無法區分工程師工具與攻擊工具,真正的安全防線必須靠運行環境隔離與權限控制而非模型本身。

完整解析

詳細

智譜發布的GLM-5.3標誌著開源模型的一次重要轉折。表面上,這次發布展現了開放模型在程式設計領域的進步,內部測試相比前代提升約50%;但更值得關注的是發生在此過程中的另一場革命——模型對網路安全任務的意外突破。

GLM-5.3的技術亮點在於採用了不同於傳統的改進路線。與其追求更大參數規模和更多訓練數據,智譜選擇沿用GLM-5.2的底座,重點投入後訓練階段。團隊擴大了強化學習環境,加入真實軟體工程任務,讓模型在長時間、多步驟的工作中持續試錯。這方法的核心在於改變訓練任務本質——從傳統考試題轉向真實工程環境。傳統程式碼測試通常給模型一個清楚問題再檢查答案正確性,但真實工程遠複雜得多:模型需要閱讀倉庫、理解依賴、運行命令、查看報錯、修改文件,再根據測試失敗重新調整。每一步都是試錯機會,任何一步出錯都會讓後續工作全部失效。

真正意外的變化發生在網路安全領域。程式設計和漏洞利用原本就相鄰——能夠理解大型程式碼庫、追蹤資料流、運行調試器並修改程序的模型,自然也可能發現邊界檢查缺失、權限判斷錯誤和記憶體處理漏洞。區別僅在於目標方向:修復代碼時尋找恢復正常方法,攻擊系統時尋找按攻擊者意圖運行的方法。當訓練環境擴大後,GLM-5.3沒有只學會發現可疑函數,而是開始把偵查、確認漏洞、構建輸入、繞過限制和取得執行結果串成完整的鏈。在CyberGem測試達84.5分、在ExpoBench飆升至54.4分(增幅超100%),這份進步超過了設計預期。

然而,進步背後隱藏著整個產業最尖銳的問題。託管模型可以限制請求、監控使用、凍結帳號,發現風險後也能更新規則。但權重下載後,部署者能移除拒答、修改系統提示、在離線環境運行。模型公司將無法知道它被用來修復漏洞還是尋找未公開入口。網路安全能力並非可單獨刪除的按鈕——讓模型更會寫程式碼、操作終端、理解系統,它就會同時更懂攻擊。有效安全防措不能靠模型設計本身解決,因為這兩種能力不可分。真正防線需要預設隔離、權限最小化、人工確認高風險操作、審計記錄,以及為機器速度重新定義漏洞披露流程——發現越自動化,驗證與溝通越不能被省掉。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。