KeyFrame內部研究專用

Intelligence + Continual Learning = Expertise — Yu Su, NeoCognition

AI Engineer19 min中文
觀看原始影片

三句話摘要

AI 代理如何透過持續學習,從通用智能發展出特定領域的專業知識。 AI 的下一個前沿不在於無限擴大模型,而在於透過優化持續學習機制,將稀缺的專業知識轉變為豐富的資源。 智能與專業知識的根本差異:智能是在給定上下文推理陌生問題的能力,每次相對獨立;專業知識是對特定領域的累積能力,包括深層模式識別、條件判斷、何時打破規則、以及品質判斷與停止時機。

重點整理

  1. 智能與專業知識的根本差異:智能是在給定上下文推理陌生問題的能力,每次相對獨立;專業知識是對特定領域的累積能力,包括深層模式識別、條件判斷、何時打破規則、以及品質判斷與停止時機。

  2. 專家構建世界模型:真正的專家不只知道更多事實,而是看待世界的方式不同。他們透過在心智中建立該領域「微觀世界」的運作模型,進而做出感知、推理、決策和判斷。每個領域、公司、甚至個別任務都有獨特的本地物理特性與約束。

  3. 智能擴展搜索,專業知識壓縮搜索:智能傾向嘗試多個平行方案(蠻力),而專業知識已構建快捷方式,知道最有可能的解決路徑。同時,智能帶來正確的上下文,專業知識則知道哪個上下文重要。

  4. 持續學習是連接關鍵:定義為「將經驗適應性壓縮為結構用於未來行為」,涵蓋多種實現方式(參數調整、向量、圖表、強化學習),以及多種使用方式(事實回憶、預測、規劃、價值函數)。

實用技巧與重點

  • AI 代理數據兩年內增長 400 倍,達 40 億條,最新數據為 60 億條
  • Moravec 悖論(現代版)
  • 持續學習的三層結構:
  • 經驗形式:情節、語義事實、程序、人類/環境反饋
  • 壓縮方式:向量化、符號索引、參數蒸餾、強化學習
  • 使用結構:模型參數、適配器、向量、圖表、技能、世界模型
  • 智能 × 專業知識的正交性:兩軸獨立
  • 「逃逸智能」(Escape Intelligence):一旦原始智能達到閾值,更好的持續學習演算法能帶來無界專業知識
  • 持續學習演算法的品質決定了學習曲線的陡峭程度

結論

AI 的下一個前沿不在於無限擴大模型,而在於透過優化持續學習機制,將稀缺的專業知識轉變為豐富的資源。

完整解析

講者從 AI 代理發展歷史切入。過去數十年間,符號系統和早期 AI 代理的能力受限於技術瓶頸。直到最近,LLMs 和多模態 AI 代理才突破限制,支援多層推理與動態交流。編碼相關數據在短短兩年內增長 400 倍,預示著一個新時代的到來。然而,這些看似強大的系統仍面臨根本問題:簡單的現實任務對它們仍很困難。

這個困境的根源在於我們對「世界」的認知。現代社會不是單一的統一世界,而是由數百萬個微觀世界組成——每個領域、行業、公司都有獨特的結構、約束、運作動態。試圖將這些異質性壓縮為一個靜態通用模型,本質上是不可能的。

講者引入了核心的概念區分:智能 vs 專業知識。智能是在給定上下文下推理陌生問題的能力——這正是現代 LLMs 擅長的。但專業知識完全不同,它是對特定領域的深度、累積、情境化能力。專家不僅知道更多,而是看世界的方式根本不同。他們透過深層結構而非表面特徵進行模式識別;他們理解每條規則的前提條件與例外情況;他們擁有品質判斷力與停止時機的智慧。這一切統合成一個「世界模型」——關於該微觀世界如何運作的內部表徵。

兩者在多個重要維度上正交。智能傾向擴展搜索空間(平行嘗試),專業知識則壓縮搜索空間(已知的快捷方式)。智能帶來對當前問題的理解,專業知識帶來對問題本身的重新框架。連接它們的樞紐是持續學習——將經驗適應性壓縮成可用於未來決策的結構。這個過程涉及多層面的選擇:什麼樣的經驗、如何壓縮(向量、參數、符號)、如何使用(回憶、預測、規劃、控制)。

講者提出了一個關鍵的圖表:縱軸是專業知識,橫軸是原始智能。沒有持續學習,擴展模型只能提升智能,產生「世界上最聰明的傻瓜」。不同的持續學習演算法改變學習曲線的斜率。但最重要的洞見是「無界專業知識從有界智能」——一旦基礎智能達到足夠閾值,優秀的持續學習演算法就能帶來無限的專業知識成長,無需無限提升模型規模。

這提出了深刻的實踐含義:我們是否需要無止境地訓練更大的模型?也許已有的模型足夠好,我們真正需要的是更優的持續學習演算法。此外,應對異質微觀世界需要參數學習(如特定適配器)與非參數學習(如向量、圖表、技能)的協同。

講者還指出了一個反直覺的可能性:專業知識的「特化」可能反而導致更好的「通用化」。當代理在各自領域學習時,若能將知識回饋給通用基礎模型,這可能成為下一個網際網路級規模的數據機會,超越公開訓練數據的限制。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。