KeyFrame內部研究專用

AI 开始研发下一代 AI,人类可能跟不上了

Why QQ中文
觀看原始影片

三句話摘要

AI 正在逐漸參與下一代 AI 的研發工作,形成遞迴自我改進的反饋循環,但這個過程仍有多重現實制約。 AI 自我加速值得重視,但遞迴自我改進能否真正爆發仍有巨大不確定性,取決於算力瓶頸與研究判斷力孰輕孰重。 AI 研發自動化已展現具體進展。Claude 主導的工作占比從不足 1% 升至 26%,OpenAI 研究員並行調派多個 Agent 進行代碼、實驗和排障工作。這反映人類研究員能同時推進更多候選實驗,而不必親自完成每個步驟,但 3.1 倍的 Agent 工作日不等同於 3.1 倍生產效率,因為 Agent 仍會嘗試失敗並需人工篩選。

重點整理

  1. AI 研發自動化已展現具體進展。Claude 主導的工作占比從不足 1% 升至 26%,OpenAI 研究員並行調派多個 Agent 進行代碼、實驗和排障工作。這反映人類研究員能同時推進更多候選實驗,而不必親自完成每個步驟,但 3.1 倍的 Agent 工作日不等同於 3.1 倍生產效率,因為 Agent 仍會嘗試失敗並需人工篩選。

  2. 自我加速機制在可驗證任務中最有效。當任務能被嚴格檢驗時(如數學證明形式化、代碼測試),多個 Agent 能反覆嘗試方案、交換中間結果,逐步推進困難研究問題。預訓練優化、推理效率改進、強化學習環境設計都能形成客觀反饋迴圈。

  3. 三道現實制約限制加速程度。實驗資源有限(GPU、網路頻寬、訓練時間不會憑空增加),研究判斷力難自動化(選擇正確方向、判斷結果是否可遷移),長期學習與數據反饋存在時間滯後(季度結果不會因推理速度快十倍就提前公布)。

  4. 當前自動化程度被高估的風險存在。AI 寫代碼、跑實驗、分析結果已發生,但完全自主設定目標、設計、訓練、驗證並發布新模型尚未被公開完整實現。把早期環節直接說成後者會高估自動化程度。

實用技巧與重點

  • 數據與指標:
  • Claude 主導工作占比:2 月不足 1% → 8 月 26%
  • OpenAI 研究組織:每 1 個人類工作日等於約 3.1 個 Agent 工作日
  • 部分 OpenAI 高強度使用者:每天 API 調用按價格計超過 7,000 美元
  • METR 評估:Anthropic 能力進步速度約為早期歷史階段的 2 倍
  • OpenAI 納維-斯托克斯千禧年難題:88 小時得解 + 17 小時 Lean 形式化
  • 關鍵機構與術語:
  • 機構:Anthropic、OpenAI、METR(獨立評估機構)、克雷數學研究所、Forecasting Research Institute
  • 核心概念:遞迴自我改進(Recursive Self-Improvement,RSI)
  • 分類模式:AI 協作(模型在密切指導下完成工作)vs AI 主導(人只給高層目標)
  • 具體做法三條路線:
  • 預訓練:修改優化器、數據處理、網路結構,比較損失曲線與計算成本
  • 強化學習與後訓練:編寫訓練算法、構造任務、生成數據、製作評分器
  • 推理效率:改寫算子、調整批處理策略、持續基準測試,量化指標為速度、顯存、功耗、精度
  • 外部觀點:
  • METR(11 月報告):承認 AI 是強研究助手、實驗室內有加速信號,但公開能力指數未明確顯示整體加速
  • Forecasting Research Institute(11 月 10 日報告):未來自動化的恰好可能是最難自動化的部分

結論

AI 自我加速值得重視,但遞迴自我改進能否真正爆發仍有巨大不確定性,取決於算力瓶頸與研究判斷力孰輕孰重。

完整解析

AI 參與研發下一代 AI 這件事本質上是軟體工程與科學研究的重要融合。傳統上我們評估 AI 進步時關注新模型相比上一代強多少,但 2026 年出現了更值得注意的變化:越來越多的 AI 正在成為下一代 AI 的建造者。Anthropic 披露了一套 AI 研發自動化指數,區分「AI 協作」(模型在人類密切指導下完成較大部分工作)與「AI 主導」(人只需給出高層目標並監督)兩種模式。數據顯示 Claude 主導工作占比從 2 月不足 1% 躍升至 8 月 26%,這是值得認真對待的加速信號。同時,OpenAI 的研究組織每投入一個標準人類工作日就運行約 3.1 個 Agent 工作日推理,部分高強度使用者每天 API 調用按價格計超過 7,000 美元。但這個倍數需謹慎理解——它反映的是人類研究員能同時推進更多並行實驗,而不是生產效率直接提升 3 倍,因為 Agent 可能反複嘗試、走錯方向,最終仍需人工篩選。

更令人矚目的證據來自獨立評估機構 METR 的十一周調查。他們估計到十月,Anthropic 在明確界定任務上的能力進步速度大約是早期歷史階段的兩倍,基於內部證據判斷這種加速多數來自 AI 輔助研發。與此同時,AI 在數學領域的應用展現了可驗證任務中的自動化潛力——OpenAI 的 Agent 組用 88 小時得到納維-斯托克斯難題的關鍵解法,再花 17 小時進行形式化驗證。這個案例的價值不只在時間數字,而在於展示了當任務能被嚴格檢驗時,多個 Agent 能反覆提出假設、運行、檢查、修改、再運行,整個循環無須每步都等人類判斷。

自我加速的真實路徑更複雜,涉及預訓練、強化學習與推理效率三條路線。在預訓練中,Agent 可修改優化器、數據處理與網路結構,然後比較損失曲線與計算成本,目標清晰、容易重複測量。在強化學習階段,Agent 甚至能編寫訓練算法、構造任務、生成數據、製作評分器,讓模型進入全新編程環境。推理效率則最容易得到客觀反饋——速度、顯存、功耗、精度都有量化指標,一旦成本下降,部署 Agent 的費用隨之下降,形成現實的自我加速循環。但這些優化都面臨真實制約:實驗資源有限(GPU、頻寬、訓練時間不會憑空增加),研究判斷力難自動化(方法在小實驗有效不代表能改變模型整體能力),長期學習與數據反饋存在時間滯後(季度業績不會因推理快十倍就提前公布)。當前需警惕的是高估自動化程度——AI 寫代碼、跑實驗、分析結果已實現,但完全自主設定目標、設計、訓練、驗證並發布新模型尚未被公開完整實現。把前者直接說成後者會高估自動化程度。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。