KeyFrame內部研究專用

前端第一、Token近翻倍:Kimi K3到底值不值得程序员用?

Why QQ·7月17日週五·6 min中文

三句話摘要

K3模型的真實工程價值分析——前端強勢但成本陷阱,最值得關注的是編譯器優化能力。 K3不是最便宜、最快或最強的模型,但它折射了AI時代軟件工程的新現實——不再比誰是New King,而是根據具體工程場景選擇合適的工具,精準計算每個任務的實際成本。 前端強≠工程強:K3在Arena視覺榜單拿第一,是因為前端任務高度視覺化、反饋即時,適合大模型做視覺偏好調整。但在SWE-bench測試中只有67.5分,反映在複雜真實倉庫中的生產穩定性仍需驗證。

重點整理

重點
  • 1

    前端強≠工程強:K3在Arena視覺榜單拿第一,是因為前端任務高度視覺化、反饋即時,適合大模型做視覺偏好調整。但在SWE-bench測試中只有67.5分,反映在複雜真實倉庫中的生產穩定性仍需驗證。

  • 2

    便宜陷阱:Token單價雖是GPT-5.6的一半,但K3推理輸出明顯更冗長,總消耗約1.9倍,最終單位任務成本並無優勢。每次十分鐘耗盡五小時額度的用戶反饋印證了這一現象。

  • 3

    坚持度是優勢:K3的特性是執行慢、啰嗦、消耗大,但不容易半途放棄。在長程自動化任務上表現靠前,適合複雜Bug修復和需要反覆迭代的工程工作。

  • 4

    編譯器能力最值得關注:K3在開發後期參與了Colonel最佳化工作,甚至從零編寫了MiniTriton GPU編譯器,在部分指標達到/超過Triton。這不只是做網頁,而是證明開放權重模型的競爭邊界已擴展到系統軟件層。

實用技巧與重點

乾貨
  • 模型規格與成本
  • 參數量:2.8萬億
  • Token單價:GPT-5.6的50%
  • 單人物成本(Artificial Analysis評測):$0.94 USD
  • AA九項綜合評測總輸出:1.32億Token(GPT-5.6的1.9倍)
  • 性能指標
  • Arena前端榜單:第一名
  • SWE-bench成績:67.5分(GPT-5.6為73分)
  • Terminal Bench等測試:回到第一梯隊
  • Automation Bench(長程任務):名列前茅
  • 工具鏈支持
  • Claude:已提供K3模型ID
  • OpenCode:發布當天上架(消耗倍率更高,未談到折扣)
  • VLLM:承諾在權重發布日(7月27日)支持K3,接入KDA緩存優化
  • 部署需求
  • 官方推薦:64張以上加速卡組成的超級節點
  • 消費級卡:顯存互聯和運行開銷難以解決
  • 重要工作
  • MiniTriton:K3從零編寫的GPU編譯器,覆蓋IR優化PASS到PTX代碼生成

結論

結論

K3不是最便宜、最快或最強的模型,但它折射了AI時代軟件工程的新現實——不再比誰是New King,而是根據具體工程場景選擇合適的工具,精準計算每個任務的實際成本。

完整解析

詳細

K3自發布以來就引發了矛盾評價。在視覺展示上,它以驚人的3D網頁和實時反饋能力登頂Arena前端榜單,一時間各平台充斥著K3炫技的短視頻。這背後的邏輯是前端任務本質高度視覺化,結果反饋迅速,這恰好是大參數模型可以透過「大力出奇蹟」堆砌出來的效果。但當我們轉向SWE-bench等衡量真實工程能力的榜單時,K3的成績只有67.5分,低於GPT-5.6的73分,這才是程序員真正關心的問題。

成本方面同樣藏著陷阱。官方宣傳Token單價是GPT-5.6的一半,但根據Artificial Analysis的評測數據,K3在同樣的綜合測試中輸出約1.32億Token,是GPT-5.6的1.9倍。這意味著K3的推理過程更冗長、啰嗦,單位任務成本並未實現官方承諾的優勢。有用戶反映十分鐘內耗盡五小時週期的額度,正是這個現象的寫照。這提醒我們:在AI時代,關鍵指標不是單價而是單位任務成本。

但K3也不是一無是處。真實用戶反饋揭示了一個反直觀的優勢:它雖然執行慢、輸出啰嗦、消耗大,卻有著異乎尋常的「執著度」。在面對複雜錯誤時,它不會簡單地甩出「無法完成」的推卸詞,而是像個有點軸的老程序員一樣死磕到底。這個特性在Automation Bench等長程自動化任務中表現明顯,對於需要反覆迭代、自動測試與修復的工程場景具有實際價值。

最值得關注的發展是K3在編譯器優化領域的參與。在開發後期,團隊用早期版本的K3協助Colonel的性能最佳化工作,甚至從零開始編寫了名為MiniTriton的GPU編譯器。這不是寫個簡單工具,而是涵蓋IR優化Pass、PTX代碼生成等完整編譯器流程的工作,部分指標甚至達到或超過業界標準的Triton。這標誌著開放權重模型的競爭邊界已從聊天和網頁應用深入到系統軟件層。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。