KeyFrame內部研究專用

Sonnet 5 has a major problem nobody's talking about

Prompt Engineering·6月30日週二·9 min英文

三句話摘要

Claude Sonnet 5 發布評測:性能接近 Opus 4.8,但定價反而更貴,首次出現故意削弱的功能限制。 Sonnet 5 單次生成能力強勁但成本效益不佳,網路安全功能被故意削弱,現階段應繼續依賴 Opus 4.8 作為主要工作流工具。 性能與價格失衡:雖然 Sonnet 5 在 Frontier Code 基準測試中超越 Opus 4.8,但整體能力約在 Opus 4.7 水準。關鍵問題在於正式價格($3 輸入/$15 輸出 per 百萬 token)高於 Opus 4.8,而 Opus 4.8 在高難度設置下反而成本更低且性能相當或更優。這是 Anthropic 首次推出折扣引導價(至 8 月 31 日為 $2/$10),暗示公司對定價策略的調整。

重點整理

重點
  • 1

    性能與價格失衡:雖然 Sonnet 5 在 Frontier Code 基準測試中超越 Opus 4.8,但整體能力約在 Opus 4.7 水準。關鍵問題在於正式價格($3 輸入/$15 輸出 per 百萬 token)高於 Opus 4.8,而 Opus 4.8 在高難度設置下反而成本更低且性能相當或更優。這是 Anthropic 首次推出折扣引導價(至 8 月 31 日為 $2/$10),暗示公司對定價策略的調整。

  • 2

    故意功能削弱以規避監管:Sonnet 5 未經網路安全任務訓練,在評估危險網路技能(如開發軟體漏洞利用)時表現遠低於 Opus 4.8 和 Mythus 5,這是為了避免觸發政府審查。模型預設啟用網路安全防護,可能導致大量拒絕回應,類似早期 Fable 5 的問題。

  • 3

    單次生成能力突出:在無需 Claude Code 工具鏈的情況下,Sonnet 5 能高質量一次生成網頁設計(無 AI 生成感)、實時 3D 地球定位追踪器(單一 HTML 文件含 API 整合)、互動式 WebGL 藝術場景(支援日夜切換、部分隱藏、自動旋轉),前代模型無法實現。

實用技巧與重點

乾貨
  • 價格(正式):輸入 $3/百萬 token,輸出 $15/百萬 token(9 月 1 日起)
  • 價格(折扣期):輸入 $2/百萬 token,輸出 $10/百萬 token(至 8 月 31 日)
  • 可用平台:Claude.ai(支援 low/medium/high/max 難度,無 ultra code),Claude Code(支援 ultra code)
  • 相對性能:vs Sonnet 4.6 大幅提升;vs Opus 4.8 約為 Opus 4.7 水準
  • 基準測試:Frontier Code(Cognition)超越 Opus 4.8;Computer Use 與 Opus 4.8 相近
  • 網路安全:故意削弱的 cyber skills 評分遠低於 Opus 4.8 和 Mythus 5;預設啟用網路安全防護
  • 測試案例:網頁設計、實時 3D 地球追踪器(含精確位置資料拉取)、WebGL 藝術場景(支援日夜模式、控制元素顯隱、自動旋轉)

結論

結論

Sonnet 5 單次生成能力強勁但成本效益不佳,網路安全功能被故意削弱,現階段應繼續依賴 Opus 4.8 作為主要工作流工具。

完整解析

詳細

Anthropic 最新發布的 Claude Sonnet 5 在基準測試中確實相對前代 Sonnet 4.6 取得顯著進步。然而,這次發布呈現出一個值得注意的悖論:雖然官方宣稱性能接近 Opus 4.8,實際綜合能力約等於 Opus 4.7 級別,更重要的是定價策略似乎未能體現其性能進度。

價格上暴露了問題所在。Sonnet 5 的正式價格為輸入 $3、輸出 $15 per 百萬 token,遠高於同級表現的成本。相比之下,使用 Opus 4.8 的高難度設置(high effort)實際上能以更低的總成本獲得相似甚至更優的性能。這是 Anthropic 有史以來首次為新模型推出介紹性折扣價(至 8 月 31 日降至 $2/$10),這一舉措隱含著對定價結構的反思。在 Frontier Code 與 Computer Use 等第三方基準中,Sonnet 5 與 Opus 4.8 表現相當,但成本考量下,Opus 4.8 仍是更優選擇。該模型並未展現出 Anthropic 所承諾的成本效率優勢。

更引人深思的是 Sonnet 5 在網路安全能力上的故意削弱。這個設計選擇很可能源於監管考量——Sonnet 5 刻意未經網路安全任務訓練,在評估危險網路技能(如開發軟體漏洞利用)時,表現明顯低於 Opus 4.8 和 Mythus 5 級別的模型。為了配合這一限制,Anthropic 預設啟用了網路安全防護機制,可能導致模型對安全相關請求大幅增加拒絕。類似的現象曾在早期 Fable 5 中出現過。

然而,Sonnet 5 的真正優勢在於其單次生成複雜應用的能力。在 Claude.ai 高難度設置下的測試中,該模型無需依賴 Claude Code 工具鏈,即能單次生成設計精良的網頁(避免了常見的「AI 生成感」)、創建包含實時 API 數據的交互式 3D 地球定位追踪器(完全自包含於單一 HTML 文件中)、以及支援日夜模式與互動元素的 WebGL 藝術場景。這些任務在前代模型中基本無法勝任。因此,儘管成本效率存疑,Sonnet 5 作為設計與編碼工具的能力確實值得關注。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。