Jev: System One models for Prod, not God — with Diogo Almeida, CEO, TypeSafe AI
三句話摘要
TypeSafe AI 創辦人 Diogo 介紹新發佈的 Jev 模型,闡述其為「系統一模型」的設計哲學,以及如何透過機器原生的 API 設計將 AI 深入軟體開發流程。 ## Jev 不是規模或速度的競爭,而是透過機器原生的 API 設計與堅持智能/美元優化,將 AI 從聊天玩具轉化為軟體開發者的可信基礎設施,引發一場重新定義自動化經濟邊界的技術革命。 系統一模型的定義不同於決策模型:Jev 設計成機器原生,代碼直接消費,而非預訓練的自動補完或 RLHF 指令跟隨模型。智能/美元是優化目標,不是聊天型 GPT 的競爭品。
重點整理
系統一模型的定義不同於決策模型:Jev 設計成機器原生,代碼直接消費,而非預訓練的自動補完或 RLHF 指令跟隨模型。智能/美元是優化目標,不是聊天型 GPT 的競爭品。
拒絕機制破壞軟體可靠性:在 API 層加入「拒絕」會導致非確定性故障,程式背景執行時忽然中斷是設計災難。應該由開發者個別決定如何分解任務與設置閾值,而不是模型層面強制限制。
校準優於原始精度:模型不必完美,但必須知道自己何時不確定。相似輸入應產生相似輸出(魯棒性)比絕對確定性更重要,這樣開發者才能用置信度分數動態調整流程。
數據與任務比規模更關鍵:合成數據設計、任務設定、逐步改進比單純增加參數量更決定性能。每次版本迭代專注修復發現的特定缺陷,而非盲目擴大模型。
##
實用技巧與重點
- Jev 的三個 API 原始類型:
- Choice:映射到程式中的 enum / switch 語句,對應選擇類任務
- Newell(源自 Bernoulli):映射到 if 語句,布林概率值,不是絕對真假
- Score:映射到排序或閾值比較,0-1 之間的連續分數用於判斷閾值
- 訓練方法演進:
- RLHF(2017 年起):指令跟隨任務
- RLVR:環境反饋迴圈
- RLCD:程式迴圈,新的北極星任務
- Jev 發佈成績:
- 發佈影片 38 百萬次觀看
- Discord 用戶達 10 萬人
- 超越規模目標的代幣日用量(tokens per day)
- 平台正常運作時間超過 Anthropic
- API 使用建議:
- 用結構化 JSON 輸入而非模板字符串,讓機器理解語義層級
- 分解大任務為小的獨立決策,評估每步可信度
- 不要在系統提示中塞入全部指令(稱為「駭人全局變數」)
- 用置信度分數設置閾值,問題不在模型,在於任務分解不夠細
- 模型承諾:
- 不做公開基準測試(prevents gaming)
- 內部嚴格評估避免自欺欺人
- 不承諾長期版本穩定性,但會快速發布更優版本
- 未來可能提供 LTS(長期支持)版本
- ##
結論
Jev 不是規模或速度的競爭,而是透過機器原生的 API 設計與堅持智能/美元優化,將 AI 從聊天玩具轉化為軟體開發者的可信基礎設施,引發一場重新定義自動化經濟邊界的技術革命。
完整解析
Diogo 在訪談中首先坦承自己的精疲力竭,但對整個 AI 領域的突破感到振奮。他將過去 AI 產業比作「鏡迷宮」,充滿不切實際的誇大,而 Jev 的發佈讓人類真正看清 AI 的實際用途:深入軟體系統的自動化,而非聊天機器人。
核心概念是「系統一模型」(system one models)。這不是新的規模競爭或基準遊戲,而是一個新的設計類別——代碼直接消費、機器原生、專為 API 層優化。Jev 的名稱源自「Jevons 悖論」,強調的是「智能/美元」這一單一北極星指標,在所有權衡中優先考量。
在談論訓練方法時,Diogo 澄清了常見誤解。RLHF 不是演算法,而是一個新任務的定義——指令跟隨。同樣,RLCD 也是新北極星,目標是讓 AI 在程式迴圈中工作。每次方法演進都改變了數據的形狀:RLHF 用人類反饋,RLVR 用環境互動,RLCD 用程式本身的邏輯。
關於「安全對齐」與拒絕機制,Diogo 的立場極為鮮明:這在 API 層是災難。當依賴項隨機拒絕執行,後端程式會非確定性崩潰,用戶體驗被破壞。他認為這來自不理解軟體工程的決策,應該由開發者在應用層自主設計安全機制,而不是模型層面強制限制。
API 設計的三個新型別反映了對軟體程式設計的深思。Choice 映射到 enum,newell 映射到條件分支,score 映射到排序與閾值。重點是不將這些與程式語言的內建型別混淆——它們有特定的語義含義,服務於軟體與 AI 的互動。開發者應用結構化 JSON 輸入而非模板字符串,讓機器理解語義層級,而不是靠字符串樣式。
Diogo 多次強調「分解任務」的重要性。不應該一次性提問「我該拒絕嗎?」,而應該分成多個獨立小問題,每個都有明確的置信度分數。這樣軟體可以驗證、測試、甚至在發現漏洞時修補——就像真正的工程一樣。模型不需要完美,只需要校準良好,讓開發者知道何時信任、何時降級到人類介入或更大模型。
在數據策略上,TypeSafe 不訓練用戶數據,因為真實世界數據充滿偏差與功率律分佈。他們設計合成數據,藝術性地尋找模型的「粗糙邊緣」,並有針對性地修補,而非盲目擴大規模。這反映了 Diogo 對 Rich Sutton「苦澀教訓」的擁抱——任務設定與數據質量遠勝計算力。
對於基準測試的拒絕,Diogo 解釋這是避免短期激勵扭曲長期能力。他們內部嚴格評估,但不對外公布,因為公開基準會誘發遊戲行為,就像過去 MMLU 競爭中每家實驗室都製造自己的類似數據集。唯一的衡量標準應該是「氛圍與信任」,直到開發者在實際工作流中驗證模型效果。
Diogo 最後談到更遠大的願景:AI 應該像 UDP/TCP 這樣的基礎設施層,無所不在但不引人注目。當模型可靠性達到足夠的「九個 9」時,軟體工程師可以像使用資料庫一樣自然地調用 AI,而無需擔心不確定性。這將解放經濟價值——從 2026 年起,大多數商用軟體仍未觸及 AI,是一場機遇窗口。
##

