KeyFrame內部研究專用

Morgan Stanley's ALPHALAB: Multi-Agent Research Across Optimization Domains — Brendan Rappazzo

AI Engineer20 min英文
觀看原始影片

三句話摘要

摩根士丹利利用大型語言模型自動化量化研究的Alpha Lab框架 自動化研究能力將成為行業商品,企業的真正競爭優勢來自建立高品質的評估框架與研究環境設計。 Alpha Lab採用三階段工作流:研究階段根據資料路徑與自然語言問題自動建立上下文(耗時3-4小時);評估階段透過多智能體架構(概念檢查+程式檢查)確保評估品質;大規模實驗階段由策略代理提議實驗、工作代理執行實現、持續迴圈改進。

重點整理

  1. Alpha Lab採用三階段工作流:研究階段根據資料路徑與自然語言問題自動建立上下文(耗時3-4小時);評估階段透過多智能體架構(概念檢查+程式檢查)確保評估品質;大規模實驗階段由策略代理提議實驗、工作代理執行實現、持續迴圈改進。

  2. 系統完全自主開發而非使用現成框架,所有代碼由Claude生成,支援與供應商無關的適配(OpenAI、Anthropic、開源模型),透過函式式工具調用實現靈活集成。

  3. 關鍵工具包括完整Shell訪問權限、Web搜索與Slurm GPU集群管理,使代理能獨立編寫程式、設置環境、訓練模型、分析結果,無需人工進行硬體編排。

  4. 2.0版本核心改進是將評估與環境視為強化學習信號與價值來源,透過定量指標與定性評估(觀察思考流程是否符合優秀研究人員工作方式)構建框架,使系統實現自我改進與元優化。

實用技巧與重點

  • 項目版本:Alpha Lab 1.0(2025年4月初發布)、2.0開發中
  • 三階段流程:研究→評估構建→大規模實驗
  • 研究階段耗時:3-4小時
  • 主要工具:Shell命令、Web搜索、Slurm GPU管理
  • 評估方法:兩個批評代理(高層次概念檢查+程序化檢查)
  • 實驗管理:Jira看板式界面,策略代理提議實驗,工作代理執行
  • 基準測試:Kaggle英偉達NeMo Tron微調競賽排名前12%
  • 關鍵發現:XGBoost表現優於三種Transformer變體
  • 代碼開源:GitHub完整開源,包含40頁技術報告
  • 企業應用:內部多個模型通過Alpha Lab改進後投入生產
  • 評估架構:公開排行榜+保留驗證集雙軌評估(類似Kaggle)
  • 訓練信號:約10-20個精心設計場景作為強化學習基礎

結論

自動化研究能力將成為行業商品,企業的真正競爭優勢來自建立高品質的評估框架與研究環境設計。

完整解析

摩根士丹利團隊在過去一年半時間開發Alpha Lab,源於實際困境:部門內有許多量化研究算法在生產環境運行,但受限於人力資源,許多改進空間難以充分利用。直到2025年12月,隨著Claude Opus等模型能力突破和Claude Code框架推出,自動化研究才真正成為可能。該團隊規模約30位AI博士研究人員,採取半學術半應用的運作模式。

Alpha Lab的工作流分三階段。研究階段根據資料路徑和自然語言問題描述自動啟動,系統透過待辦事項清單框架逐步建立上下文,自動學習設置Python環境、加載資料、執行統計測試等工作,通常需耗時3-4小時。第二階段評估構建是2.0版最顯著的改進,採用多智能體框架:開發代理先編寫評估程式碼,提交給兩個批評代理分別檢查概念錯誤和程序化問題,形成類似單元測試與集成測試的雙重檢查機制。第三階段大規模實驗使用Jira看板式界面,策略代理持續提議實驗方案,工作代理負責實現策略、編寫程式碼、提交至GPU集群、分析訓練曲線與評估結果,每次完成後生成事後分析報告回饋給策略代理,形成持續迭代的閉環。

設計上摩根士丹利做出獨特選擇:完全自主開發框架而非使用現成平台,所有代碼由Claude生成。系統支援供應商無關適配,可使用OpenAI、Anthropic或開源模型。關鍵工具包括完整Shell訪問、網路搜索和Slurm GPU管理。1.0版本在學術資料集(CUDA內核、交通時間序列、LM預訓練速度)上驗證,在Kaggle英偉達競賽中排名前12%,由於加入較晚僅10次迭代,若有更多時間預期成績更佳。內部已有多個模型交由Alpha Lab改進並投入生產。

2.0版本核心認知轉變:系統真正價值並非來自模型本身,而是精心設計的評估框架與環境。新版採用Kaggle式架構——資料輸入、框架評估、模型提交容器化——配合公開排行榜與保留驗證集的雙軌評估。更重要的是建立定量與定性評估雙維度框架,觀察代理思考流程是否符合優秀研究人員工作方式。這些精心設計的評估作為強化學習信號,使系統實現自我改進與元優化。團隊同時探索從開源模型軌跡收集優質資料,研究權重與策略蒸餾方法,最終目標是創造開源與閉源模型結合的最優方案。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。