KeyFrame內部研究專用

Scaling Compute on Context — Jack Morris, Engram

AI Engineer19 min中文
觀看原始影片

三句話摘要

如何讓AI模型在不重新訓練的前提下,通過在上下文中擴展計算能力,習得個性化的深度知識。 AI模型要從廣而淺轉向個性化而深,需要打破知識飽和壁壘,關鍵是建立自我改進機制讓計算投入無限轉化為知識深度。 廣度與深度的悖論:模型像數學家Terence Tao所言具有廣闊的知識廣度,卻缺乏深度。前訓練使模型掌握所有公開話題,但無法深入理解個人領域(如用戶郵件、工作流程、個人偏好等),因為這些數據並非公開且無法在預訓練時獲得。

重點整理

  1. 廣度與深度的悖論:模型像數學家Terence Tao所言具有廣闊的知識廣度,卻缺乏深度。前訓練使模型掌握所有公開話題,但無法深入理解個人領域(如用戶郵件、工作流程、個人偏好等),因為這些數據並非公開且無法在預訓練時獲得。

  2. 固定數據預算下的策略轉變:無法為私有數據創造新數據源,也無法從零訓練模型,因此只能在預訓練模型基礎上,利用唯一可行的擴展軸——計算。這意味著所有努力都圍繞如何在相同數據下增加計算投入。

  3. 現有方案的根本限制:無論採取直接訓練、上下文壓縮或蒸餾等方法,都會面臨知識飽和壁壘。模型最終會學盡數據中的所有信息,之後無法通過增加計算進一步改進,形成類似「數據牆」的瓶頸。

  4. 自我改進作為突破口:參考AlphaGo自我對弈產生更優質訓練數據的經驗,關鍵在於讓模型通過自我改進能力不斷生成更優質的內部訓練信號,打破飽和壁壘,實現真正的無限擴展。

實用技巧與重點

  • 相關術語:sleep time compute、continual learning、neural memory、right time compute、note-taking、dreaming、studying、amortized inference、scaling compute on context
  • 模型示例:Fable、GPT-5、Claude、GLM5.2
  • 技術方案:
  • 壓縮(compaction):類似Claude Code和Codex的方法
  • 在策略蒸餾(on-policy distillation):Rono提出的技術
  • 自學方法:Self-Study from Cartridges論文
  • 強化學習損失函數:GRPO
  • 數據類型:電子郵件、會議逐字稿、個人語料庫
  • 公司:ngram(剛創立)、Scale AI、Surge AI、Mercor
  • 招聘網站:ngram.com

結論

AI模型要從廣而淺轉向個性化而深,需要打破知識飽和壁壘,關鍵是建立自我改進機制讓計算投入無限轉化為知識深度。

完整解析

Jack代表新創公司ngram指出,當代AI模型存在一個根本性的限制:它們只能從公開數據習得知識。這導致模型雖然廣度驚人——能連接跨領域的概念——但缺乏像專家那樣的深度理解。舉例而言,模型不知道你的郵件內容、你的工作文件或你的個人習慣,因為這些信息不在公開訓練集裡。

為了解決這個問題,ngram提出了「在上下文中擴展計算」的框架。傳統的AI擴展有三個軸:更多數據、更長訓練時間、更大模型。但在私有數據場景中,你無法創造新數據,也不能從零訓練,這留下唯一的選擇:增加計算。

Jack逐一討論了各種技術方案及其局限。最簡單的想法——直接在私有數據上訓練——會導致過度擬合和知識漏失。上下文壓縮方法可以將數據壓縮成向量形式供模型使用,但只在數據能放入上下文窗口時有效。在策略蒸餾通過生成條件化的問答對,讓模型模擬「看到上下文」的行為,但最終仍受限於生成的合成數據質量。

這些方案的共同問題是無法突破知識飽和壁壘。無論如何訓練,模型最終都會學盡現有數據,之後增加更多計算也無法帶來進一步改進。Jack認為突破口在於自我改進:像AlphaGo那樣,讓模型通過自己的改進不斷生成更優質的訓練信號,打破線性飽和曲線,實現無限的深度擴展。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。