KeyFrame內部研究專用

AIE CODE: Google DeepMind, Anthropic, SpaceXSI, TypeSafe, Lovable, Ramp, etc (System One theme)

AI Engineer英文
觀看原始影片

三句話摘要

AI推理速度突破10倍后,如何重新設計應用架構、大規模部署代理,以及代碼質量與驗證如何決定生產信任度。 AI時代的工程成敗不在模型選擇,而在能否透過代碼架構、驗證體系、自動化閉環和知識管理建立每個人都信任的系統。 推理速度每提升10倍,應用範式就轉變一次。 Gimlet Labs演示從網路時代取經:2000年拨號網速時Squirrel Mail郵件客戶端幾秒才能加載圖片,當時人們認為足夠快。但Amazon、Google早已發現即使100毫秒延遲也會影響用戶留存率。現在推理延遲從10秒降到秒級,安全代理可在毫秒級攔截惡意上傳、即時修復漏洞,而不是事後應對。異構硬件加速是解方:同一模型分片到不同晶片(GPU、SRM專用加速器),綜合吞吐量與延遲均獲最佳化。

重點整理

  1. 推理速度每提升10倍,應用範式就轉變一次。 Gimlet Labs演示從網路時代取經:2000年拨號網速時Squirrel Mail郵件客戶端幾秒才能加載圖片,當時人們認為足夠快。但Amazon、Google早已發現即使100毫秒延遲也會影響用戶留存率。現在推理延遲從10秒降到秒級,安全代理可在毫秒級攔截惡意上傳、即時修復漏洞,而不是事後應對。異構硬件加速是解方:同一模型分片到不同晶片(GPU、SRM專用加速器),綜合吞吐量與延遲均獲最佳化。

  2. 代碼庫本身是代理最大的訓練集。 SpaceX Grockbot團隊月產11,000個PR但失敗率僅0.5%,祕訣是把控制前移到架構層。禁用React useEffect、明確renderer/main線程目錄結構、徹底移除註釋改用lint規則——這些措施強制代理遵循最佳實踐,而不是靠審查來糾正。形式化驗證(TLA+做模型檢查、Lean做演算法證明)捕捉架構級缺陷。結果是驗證成為主要token消耗(70%),但代碼本身變得可信。

  3. 系統一模型補充而非替代大型語言模型。 Cloudflare發現當大型模型變成瓶頸時,系統一模型(決策+提取)開啟新路徑。同一個CI診斷任務,決策模型修剪40個工具到10個、提取模型從300行日誌抽出關鍵錯誤、大型語言模型只做最終決策——結果是1次調用、1,800 token對比5次調用、40,000 token,成本降72%但品質相同。

  4. 生產中的完整閉環決定成敗。 Harvey的Spectre平台每月超過1個代理啟動任務,月均460工程師使用。代理不只寫代碼,還要在真實環境副本驗證、讀取失敗日誌推送修復、自動合併符合規則的PR、累積知識供下一個代理參考。最活躍的使用者月啟動數百個任務,完全透過CLI界面無需打開Web應用。

實用技巧與重點

  • 推理體驗指標:
  • 中位數編碼代理轉次:63秒
  • 100毫秒:感覺瞬間
  • 1秒:思路連貫
  • 10秒:開始分心
  • Gimlet Labs方案:
  • 異構硬件加速:同一模型分片到GPU與SRM專用晶片
  • Token Mint Factory遊戲:演示吞吐量vs.延遲權衡可透過技術升級向右上移動
  • Cloudflare新模型:
  • Llama(決策模型,單次前向傳播)
  • Cleric(提取模型,從非結構化資料抽出型別JSON)
  • CI案例:40工具→10工具(Llama修剪)、300行日誌→關鍵錯誤(Cleric提取)、LLM僅做最終決策
  • Grockbot品質系統:
  • 禁用useEffect、明確目錄權限模型、禁止代碼註釋改用lint規則
  • 執行時驗證:Feature Map(功能詞彙表)與自訂CLI
  • 形式化驗證:TLA+模型檢查、Lean演算法證明、Bombadil屬性測試
  • 月產11,000 PR,啟動延遲與聊天切換速度均優於初版
  • Pinter AI KV快取安全方案:
  • 三步法:學習基線→發現異常→分類解釋
  • 語音代理:72個普通樣本作基線,隱藏指令成功被檢測
  • Qwen 3 14B文本:10個頂級告警中7-8個為真實異常
  • 挑戰:不同模型有不同KV坐標空間
  • Harvey Spectre平台指標:
  • 月啟動>1個代理
  • 10月時460人使用、四成五代理PR自動合併
  • CLI月啟動6,500+任務
  • Projects知識系統記錄測試方法與禁用標誌

結論

AI時代的工程成敗不在模型選擇,而在能否透過代碼架構、驗證體系、自動化閉環和知識管理建立每個人都信任的系統。

完整解析

AI工程在這次峰會展現了三個維度的成熟:速度、品質、規模。

速度維度的啟蒙來自互聯網歷史。 Gimlet Labs以Squirrel Mail郵件客戶端為例——2000年拨號年代,加載一張圖需時數秒,當時人們認為足夠。但Amazon、Google、Yahoo等巨頭早已發現100毫秒延遲就會影響用戶回訪率和點擊量。網路速度提升從拨號到光纖,應用從靜態頁面演進到高清串流。推理速度提升也遵循同樣軌跡——從10秒降到秒級時,應用範式會從異步監控轉變為實時干預。一個安全代理若有10秒延遲,惡意攻擊早已得手;若降到毫秒級,可在執行前攔截。但挑戰在於能耗矛盾:更快的推理消耗更多電力,同等功率下無法同時增加吞吐量。Gimlet的解決方案是異構硬件——把模型分片到最適合的晶片(GPU處理某部分、SRM專用加速器處理另一部分),雖然網路開銷存在,但整體吞吐與延遲均獲優化。

品質維度的突破在於讓代碼庫自動強制規範。 SpaceX Grockbot團隊每月合併11,000個PR,失敗率僅0.5%,這不是因為審查流程有多嚴格,而是他們把控制權前移到了架構層。他們觀察到代理傾向於複製代碼庫中的既有模式,因此禁用React的useEffect(因為容易誤用)、用目錄結構強制線程隔離(renderer目錄只能import renderer的程式碼)、完全移除代碼註釋改用帶清晰錯誤訊息的lint規則。這樣做的效果是讓代理預設就做對事情,而不是事後才發現並更正。執行時驗證透過Feature Map給代理一份官方功能詞彙表,形式化驗證(TLA+做狀態機檢查、Lean做演算法正確性證明)則捕捉架構級缺陷。驗證過程耗用70% token,但代碼本身變得可信,自動合併比率大幅提升。

規模維度的關鍵是完整的生產閉環。 Cloudflare的故事始於一個預測失誤——他們預期模型會變小以利邊緣部署,結果模型越來越大。於是他們改弦更張,開始提供大型模型API,同時發現Typesafe的Janus啟發了新思路:系統一模型(單次前向傳播、決策迅速)可以補充系統二模型(大型語言模型、推理深度)。他們用三週時間推出Llama決策模型和Cleric提取模型。Llama幫助代理在工具集中選出最相關的10個(從40個中),Cleric從非結構化資料(郵件、推文、Slack訊息)準確提取型別JSON物件,大型語言模型則聚焦於最終決策。同一個CI診斷案例,純LLM方案需5次調用、40,000 token;混合方案需1次LLM調用、1,800 token,成本降72%但結果相同。Harvey的Spectre更進一步完成了閉環:代理寫完PR後自動在真實環境副本驗證、若失敗則讀取日誌推送修復、符合規則後自動合併、知識積累到Projects供下次參考。十月時460工程師使用此平台,最活躍的使用者每月啟動數百任務且完全透過CLI,無需打開Web界面。最後,Pinter AI展示KV快取(推理引擎的計算記錄)可用於安全異常偵測,對無法文本過濾的場景(例如語音代理隱藏指令)特別有效。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。