KeyFrame內部研究專用

Benchmarks, borders and the true cost of AI regulation

Risky Business·7月28日週二·39 min英文

三句話摘要

美國和中國政府對開源大語言模型的監管將帶來的實際成本、風險及其對網安防禦的非對稱傷害。 限制開源模型雖可能延緩某些風險,但同時會讓美國防禦者脫離全球開源創新迴圈,而攻擊者不受約束,最終削弱整體安全態勢——應該投資讓開源模型更安全、更便宜、更好用,而非堵死合規美國人的參與。 開源模型的本質是部署控制,不只是廉價推理。開源模型允許本地部署、氣隙隔離、選擇特定雲提供商、完整控制數據邊界、支持微調和量化等後訓練技術。這些能力對企業級網安工作流尤其關鍵——防禦者無法讓專有代碼或漏洞研究進入第三方廠商的系統。

重點整理

重點
  • 1

    開源模型的本質是部署控制,不只是廉價推理。開源模型允許本地部署、氣隙隔離、選擇特定雲提供商、完整控制數據邊界、支持微調和量化等後訓練技術。這些能力對企業級網安工作流尤其關鍵——防禦者無法讓專有代碼或漏洞研究進入第三方廠商的系統。

  • 2

    閉源 API 無法作為完全替代品。需同時滿足:對數據同等信任、支持網安工作、支持現有集成、持久可用性、模型行為特性一致。Anthropic 和 OpenAI 在網安應用上施加嚴格限制(Fable 5 完全拒絕、Opus 5 有限度、GPT-5.6 介於兩者),且模型間行為差異巨大,會導致已優化的工具需大幅重構。

  • 3

    監管造成網安防禦的非對稱傷害。防禦者被迫重新工具化和適配模型差異,耗費時間和資源;而攻擊者不受任何限制,持續提升能力。這直接削弱整體防禦姿態,同時加大攻擊者優勢。

  • 4

    完整成本模型的必要性。應以「可驗證結果」為分母計算成本,納入人力投入、模型行為差異導致的額外推理、多次迭代成本等。監管成本不只是 token 支出,還包括工程投資、驗證工作、機會成本等,最終轉嫁給企業和用戶。

實用技巧與重點

乾貨
  • 監管信號與提議
  • 白宮科技辦公室主任 Michael Kratzios:指控月之暗面進行「大規模蒸餾」盜竊美國模型
  • 財政部長 Scott Besant:提及制裁和實體名單指定
  • 路透社報導:阿里巴巴、字節跳動、ZAI 與中國當局會面,討論將 AI 洩露列為國家安全違法行為
  • Senators Banks 和 Schiff 引入《合作對抗威脅和安全風險法案》
  • 現有開源模型
  • GLM 5.2、Moonshot Kimmy K3、Qwen 3.8
  • Qwen 3.6 (27B)、122B 參數量化版本
  • 均已加入實體名單,面臨出口管制
  • 閉源模型系列與限制
  • Anthropic:Haiku / Sonnet / Opus (分層定價與能力)
  • OpenAI:Sol / Luna / Terra (新分層模型)
  • Fable 5:任何網安相關關鍵字立即拒絕
  • Opus 5 vs 4.8:行為特性差異導致推理邏輯變差
  • GPT-5.6:無法成功擔任漏洞研究的協調者角色
  • 具體應用案例
  • 代碼審查:本地開源模型初審 + 前沿模型最終決策,防止 IP 外洩
  • 漏洞研究:NVIDIA DGX Spark + Qwen 3.6/122B,零邊際成本持續生成假設和線索
  • 訂閱制配額優化:Anthropic/OpenAI 的 5 小時/週限制 vs 本地模型的近乎無限推理
  • 成本及能力差異
  • Opus:迅速判定但過度悲觀,容易放棄可行路徑
  • GLM 5.2:執著探索多個角度,將看似無法利用的任意寫原始問題轉換為 root 權限種族條件漏洞

結論

結論

限制開源模型雖可能延緩某些風險,但同時會讓美國防禦者脫離全球開源創新迴圈,而攻擊者不受約束,最終削弱整體安全態勢——應該投資讓開源模型更安全、更便宜、更好用,而非堵死合規美國人的參與。

完整解析

詳細

當前開源大語言模型(GLM 5.2、Moonshot K3、Qwen)的發佈與美中政府同步推進監管的時刻構成了尖銳的對比。James Wilson 在這集播客中扒開監管表面,深入分析限制開源模型若真實發生,對 AI 消費者和防禦者的具體衝擊。

問題的核心誤解在於將開源模型簡單視為「便宜推理」。事實上,開源模型帶來的是部署控制權——你可以本地運行、氣隙隔離、選擇信任的雲提供商、完整控制誰看得到你的數據。對企業級防禦工作來說,這不是奢侈品而是必需品。某大型企業曾用本地開源模型做代碼審查初篩,再送前沿模型做決策,完全封閉代碼洩露風險。Wilson 本人則用本地 127B 參數模型做漏洞研究探索,只在發現有價值線索時才把抽象後的結論送到閉源 API,避免暴露原始研究。

政策假設的破綻在於認為閉源 API 可一對一替代開源模型。但替代需滿足五個條件:對數據同等信任、支持網安工作、支持現有集成、持久可用性、行為特性相同。Anthropic 和 OpenAI 在網安應用上施加逐級限制——Fable 5 看到「網安」直接拒絕,Opus 5 在漏洞研究時會「害怕」並叫停,GPT-5.6 居中。更糟的是,即使是同一家的模型,Opus 4.8 到 Opus 5 的行為差異也很大。Wilson 從第一手經驗發現,Opus 傾向過早放棄(「這個漏洞無法利用」),而 GLM 5.2 則如同「拿著鎚子的人」,會執著地從多個角度重新審視,結果真的把表面上無利用價值的任意寫漏洞轉換成 root 權限種族條件漏洞。

成本計算的陷阱在於只看 token 價格和基準分數。應該建立「可驗證結果成本」的完整模型——分子是所有成本(人力、API、推理、反覆迭代),分母是實際達成的結果單位。同一個漏洞發現可能需要 10 次迭代,若只算成功那次就忽視了 10 倍成本。模型行為差異會導致迭代次數劇增;當被迫從開源切換到閉源時,原本優化好的工具和評估數據集也需重新建設。訂閱制模型還有配額焦慮(如何在 5 小時內最大化價值),而本地模型可近乎零成本地「不停思考」。

防禦者的非對稱傷害最為嚴峻。限制開源模型會讓防禦者被迫投入大量工程時間適配新模型,而攻擊者毫不受限,持續強化能力。防禦者還要面對監管透明度缺失的風險——申請 Anthropic 或 OpenAI 的「不審查版本」approval 流程完全不透明,無人知道要符合什麼標準或等多久。這不只傷害防禦者本身,更傷害下游客戶。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。