KeyFrame內部研究專用

Jev: System One models for Prod, not God — with Diogo Almeida, CEO, TypeSafe AI

Latent Space140 min英文
觀看原始影片

三句話摘要

TypeSafe AI 創辦人 Diogo 介紹新發佈的 Jev 模型,闡述其為「系統一模型」的設計哲學,以及如何透過機器原生的 API 設計將 AI 深入軟體開發流程。 ## Jev 不是規模或速度的競爭,而是透過機器原生的 API 設計與堅持智能/美元優化,將 AI 從聊天玩具轉化為軟體開發者的可信基礎設施,引發一場重新定義自動化經濟邊界的技術革命。 系統一模型的定義不同於決策模型:Jev 設計成機器原生,代碼直接消費,而非預訓練的自動補完或 RLHF 指令跟隨模型。智能/美元是優化目標,不是聊天型 GPT 的競爭品。

重點整理

  1. 系統一模型的定義不同於決策模型:Jev 設計成機器原生,代碼直接消費,而非預訓練的自動補完或 RLHF 指令跟隨模型。智能/美元是優化目標,不是聊天型 GPT 的競爭品。

  2. 拒絕機制破壞軟體可靠性:在 API 層加入「拒絕」會導致非確定性故障,程式背景執行時忽然中斷是設計災難。應該由開發者個別決定如何分解任務與設置閾值,而不是模型層面強制限制。

  3. 校準優於原始精度:模型不必完美,但必須知道自己何時不確定。相似輸入應產生相似輸出(魯棒性)比絕對確定性更重要,這樣開發者才能用置信度分數動態調整流程。

  4. 數據與任務比規模更關鍵:合成數據設計、任務設定、逐步改進比單純增加參數量更決定性能。每次版本迭代專注修復發現的特定缺陷,而非盲目擴大模型。

  5. ##

實用技巧與重點

  • Jev 的三個 API 原始類型:
  • Choice:映射到程式中的 enum / switch 語句,對應選擇類任務
  • Newell(源自 Bernoulli):映射到 if 語句,布林概率值,不是絕對真假
  • Score:映射到排序或閾值比較,0-1 之間的連續分數用於判斷閾值
  • 訓練方法演進:
  • RLHF(2017 年起):指令跟隨任務
  • RLVR:環境反饋迴圈
  • RLCD:程式迴圈,新的北極星任務
  • Jev 發佈成績:
  • 發佈影片 38 百萬次觀看
  • Discord 用戶達 10 萬人
  • 超越規模目標的代幣日用量(tokens per day)
  • 平台正常運作時間超過 Anthropic
  • API 使用建議:
  • 用結構化 JSON 輸入而非模板字符串,讓機器理解語義層級
  • 分解大任務為小的獨立決策,評估每步可信度
  • 不要在系統提示中塞入全部指令(稱為「駭人全局變數」)
  • 用置信度分數設置閾值,問題不在模型,在於任務分解不夠細
  • 模型承諾:
  • 不做公開基準測試(prevents gaming)
  • 內部嚴格評估避免自欺欺人
  • 不承諾長期版本穩定性,但會快速發布更優版本
  • 未來可能提供 LTS(長期支持)版本
  • ##

結論

Jev 不是規模或速度的競爭,而是透過機器原生的 API 設計與堅持智能/美元優化,將 AI 從聊天玩具轉化為軟體開發者的可信基礎設施,引發一場重新定義自動化經濟邊界的技術革命。

完整解析

Diogo 在訪談中首先坦承自己的精疲力竭,但對整個 AI 領域的突破感到振奮。他將過去 AI 產業比作「鏡迷宮」,充滿不切實際的誇大,而 Jev 的發佈讓人類真正看清 AI 的實際用途:深入軟體系統的自動化,而非聊天機器人。

核心概念是「系統一模型」(system one models)。這不是新的規模競爭或基準遊戲,而是一個新的設計類別——代碼直接消費、機器原生、專為 API 層優化。Jev 的名稱源自「Jevons 悖論」,強調的是「智能/美元」這一單一北極星指標,在所有權衡中優先考量。

在談論訓練方法時,Diogo 澄清了常見誤解。RLHF 不是演算法,而是一個新任務的定義——指令跟隨。同樣,RLCD 也是新北極星,目標是讓 AI 在程式迴圈中工作。每次方法演進都改變了數據的形狀:RLHF 用人類反饋,RLVR 用環境互動,RLCD 用程式本身的邏輯。

關於「安全對齐」與拒絕機制,Diogo 的立場極為鮮明:這在 API 層是災難。當依賴項隨機拒絕執行,後端程式會非確定性崩潰,用戶體驗被破壞。他認為這來自不理解軟體工程的決策,應該由開發者在應用層自主設計安全機制,而不是模型層面強制限制。

API 設計的三個新型別反映了對軟體程式設計的深思。Choice 映射到 enum,newell 映射到條件分支,score 映射到排序與閾值。重點是不將這些與程式語言的內建型別混淆——它們有特定的語義含義,服務於軟體與 AI 的互動。開發者應用結構化 JSON 輸入而非模板字符串,讓機器理解語義層級,而不是靠字符串樣式。

Diogo 多次強調「分解任務」的重要性。不應該一次性提問「我該拒絕嗎?」,而應該分成多個獨立小問題,每個都有明確的置信度分數。這樣軟體可以驗證、測試、甚至在發現漏洞時修補——就像真正的工程一樣。模型不需要完美,只需要校準良好,讓開發者知道何時信任、何時降級到人類介入或更大模型。

在數據策略上,TypeSafe 不訓練用戶數據,因為真實世界數據充滿偏差與功率律分佈。他們設計合成數據,藝術性地尋找模型的「粗糙邊緣」,並有針對性地修補,而非盲目擴大規模。這反映了 Diogo 對 Rich Sutton「苦澀教訓」的擁抱——任務設定與數據質量遠勝計算力。

對於基準測試的拒絕,Diogo 解釋這是避免短期激勵扭曲長期能力。他們內部嚴格評估,但不對外公布,因為公開基準會誘發遊戲行為,就像過去 MMLU 競爭中每家實驗室都製造自己的類似數據集。唯一的衡量標準應該是「氛圍與信任」,直到開發者在實際工作流中驗證模型效果。

Diogo 最後談到更遠大的願景:AI 應該像 UDP/TCP 這樣的基礎設施層,無所不在但不引人注目。當模型可靠性達到足夠的「九個 9」時,軟體工程師可以像使用資料庫一樣自然地調用 AI,而無需擔心不確定性。這將解放經濟價值——從 2026 年起,大多數商用軟體仍未觸及 AI,是一場機遇窗口。

##

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資