Scaling Compute on Context — Jack Morris, Engram
三句話摘要
如何讓AI模型在不重新訓練的前提下，通過在上下文中擴展計算能力，習得個性化的深度知識。 AI模型要從廣而淺轉向個性化而深，需要打破知識飽和壁壘，關鍵是建立自我改進機制讓計算投入無限轉化為知識深度。 廣度與深度的悖論：模型像數學家Terence Tao所言具有廣闊的知識廣度，卻缺乏深度。前訓練使模型掌握所有公開話題，但無法深入理解個人領域（如用戶郵件、工作流程、個人偏好等），因為這些數據並非公開且無法在預訓練時獲得。
重點整理
重點- 1
廣度與深度的悖論：模型像數學家Terence Tao所言具有廣闊的知識廣度，卻缺乏深度。前訓練使模型掌握所有公開話題，但無法深入理解個人領域（如用戶郵件、工作流程、個人偏好等），因為這些數據並非公開且無法在預訓練時獲得。
- 2
固定數據預算下的策略轉變：無法為私有數據創造新數據源，也無法從零訓練模型，因此只能在預訓練模型基礎上，利用唯一可行的擴展軸——計算。這意味著所有努力都圍繞如何在相同數據下增加計算投入。
- 3
現有方案的根本限制：無論採取直接訓練、上下文壓縮或蒸餾等方法，都會面臨知識飽和壁壘。模型最終會學盡數據中的所有信息，之後無法通過增加計算進一步改進，形成類似「數據牆」的瓶頸。
- 4
自我改進作為突破口：參考AlphaGo自我對弈產生更優質訓練數據的經驗，關鍵在於讓模型通過自我改進能力不斷生成更優質的內部訓練信號，打破飽和壁壘，實現真正的無限擴展。
實用技巧與重點
乾貨- 相關術語：sleep time compute、continual learning、neural memory、right time compute、note-taking、dreaming、studying、amortized inference、scaling compute on context
- 模型示例：Fable、GPT-5、Claude、GLM5.2
- 技術方案：
- 壓縮(compaction)：類似Claude Code和Codex的方法
- 在策略蒸餾(on-policy distillation)：Rono提出的技術
- 自學方法：Self-Study from Cartridges論文
- 強化學習損失函數：GRPO
- 數據類型：電子郵件、會議逐字稿、個人語料庫
- 公司：ngram（剛創立）、Scale AI、Surge AI、Mercor
- 招聘網站：ngram.com
結論
結論“AI模型要從廣而淺轉向個性化而深，需要打破知識飽和壁壘，關鍵是建立自我改進機制讓計算投入無限轉化為知識深度。”
完整解析
詳細Jack代表新創公司ngram指出，當代AI模型存在一個根本性的限制：它們只能從公開數據習得知識。這導致模型雖然廣度驚人——能連接跨領域的概念——但缺乏像專家那樣的深度理解。舉例而言，模型不知道你的郵件內容、你的工作文件或你的個人習慣，因為這些信息不在公開訓練集裡。
為了解決這個問題，ngram提出了「在上下文中擴展計算」的框架。傳統的AI擴展有三個軸：更多數據、更長訓練時間、更大模型。但在私有數據場景中，你無法創造新數據，也不能從零訓練，這留下唯一的選擇：增加計算。
Jack逐一討論了各種技術方案及其局限。最簡單的想法——直接在私有數據上訓練——會導致過度擬合和知識漏失。上下文壓縮方法可以將數據壓縮成向量形式供模型使用，但只在數據能放入上下文窗口時有效。在策略蒸餾通過生成條件化的問答對，讓模型模擬「看到上下文」的行為，但最終仍受限於生成的合成數據質量。
這些方案的共同問題是無法突破知識飽和壁壘。無論如何訓練，模型最終都會學盡現有數據，之後增加更多計算也無法帶來進一步改進。Jack認為突破口在於自我改進：像AlphaGo那樣，讓模型通過自己的改進不斷生成更優質的訓練信號，打破線性飽和曲線，實現無限的深度擴展。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
