KeyFrame內部研究專用

How Bridgewater Turned 100 Million Documents Into an Edge - Sam Green & Aaron Linsky, Bridgewater

AI Engineer英文
觀看原始影片

三句話摘要

Bridgewater Associates 構建 Vault 數據平台,將非結構化數據轉化為投資流程中的一流資產,並闡述如何讓 AI 代理成為主動參與者而非被動工具。 讓 AI 代理持續學習企業知識並主動引導人類決策,需要構建精確適配人機混合需求的數據平台,並讓新工具融入既有工作流程而非取代它。 人機需求差異化設計:人類每分鐘閱讀 300 字,需要高精度和低雜訊比;代理每分鐘讀 30,000 字,對精度不敏感但需高規模。Vault 必須同時服務這兩類用戶,在召回率、精度、過濾、權限管理和規模五個維度都表現卓越。

重點整理

  1. 人機需求差異化設計:人類每分鐘閱讀 300 字,需要高精度和低雜訊比;代理每分鐘讀 30,000 字,對精度不敏感但需高規模。Vault 必須同時服務這兩類用戶,在召回率、精度、過濾、權限管理和規模五個維度都表現卓越。

  2. 搜尋精度的量化改進:初期精度@10 僅 60%,透過基準測試(200 個手工標記範例)識別問題,實施改進後提升至 90-95%。使用 TurboPuffer 的原生過濾方法,既保持搜尋速度,又維持接近前置過濾的高召回率。

  3. 工作流程遷移勝過功能堆砌:簡單推出強大工具不足以改變使用習慣。研究人員習慣用電子郵件和資料夾管理研究,Vault 將訂閱列表轉為已保存搜尋、資料夾轉為已保存集合,在熟悉的模式上層提供新能力,最終達成產品與市場契合。

  4. 代理從被動轉為主動參與:「投資者工作台」是關鍵轉變,代理持續監控並主動推薦重要主題,投資者檢視證據、深入研究後,系統自動將學習成果回存到 Vault,形成複利效應。

實用技巧與重點

  • Vault 規模:1 億份以上文檔,135 個外部來源,每天新增數千份文檔
  • 搜尋性能指標:精度@10 從 60% 提升至 90-95%
  • 用戶規模對比:
  • 人類:300 位使用者,每小時 100 次查詢,閱讀速度 300 字/分鐘
  • 代理:100+ 查詢/秒,代理群可達數千次/秒,閱讀速度 30,000 字/分鐘
  • 技術方案:TurboPuffer 原生過濾(native filtering)、向量資料庫
  • 部署平台:Chat、手機應用、Slack、IDE、CLI
  • 應用工具:
  • Pocket Analyst:數分鐘完成數小時研究
  • Researcher:跨日或週的深度研究
  • Forecaster:宏觀相關預測
  • 建立投資信號:將非結構化數據轉化為可交易策略
  • 基準測試方法:200 個手工標記範例,不到一週完成

結論

讓 AI 代理持續學習企業知識並主動引導人類決策,需要構建精確適配人機混合需求的數據平台,並讓新工具融入既有工作流程而非取代它。

完整解析

Bridgewater Associates 在過去 50 年來始終追求對市場和經濟運作的深刻理解。從最初黃色便籤紙上的若干規則,演進到以人類為中心的持續複合流程,再到近年推進的人工投資助手(AiA)。隨著語言模型的出現,Bridgewater 發現能夠接觸的數據類型大幅擴展——新聞、研究報告、政策文件、內部備忘錄、會議記錄和企業內部辯論。這些非結構化數據同樣需要經過清理、治理和準備,才能用於當前的研究問題和長期系統性研究。現有的數據供應商無法提供所需的全面控制能力,因此 Bridgewater 構建了 Vault。

Vault 匯集超過 1 億份文檔、來自 135 個外部來源的數據,加上公司內部的所有非結構化資料。關鍵之處在於,這些數據不是簡單地堆放在投資人面前,而是精心對齊公司內部的本體論,並附加國家、概念、市場和涵蓋時期等豐富標籤。例如,一個簡單的投資問題「AI 基礎設施投資如何影響韓元,市場參與者是否預期這種影響將持續?」透過開放網路查詢時,可能只找到 15 個相關資源並僅採用其中一或二份;但透過 Vault,同一查詢在特定時間區間(如 10 月 1-8 日)內可找到 52 個相關文檔,最終答案可引用 7 份文檔,大幅提升答案品質和代理的信心。

設計面的核心挑戰在於人類和代理的需求差異。人類閱讀速度每分鐘 300 字,需要高精度和低雜訊;代理則每分鐘讀 30,000 字,不敏感於精度但需要極大規模。初期 Vault 搜尋精度@10 僅達 60%,團隊透過手工標記 200 個問題範例建立基準,系統性地改進精度至 90-95%。同時,為平衡搜尋速度與召回率,Vault 採用 TurboPuffer 的原生過濾技術,既避免前置過濾的速度瓶頸,也保持後置過濾的快速回應。在規模上,需從人類每小時 100 次查詢提升至代理 100+ 查詢每秒。

更深層的洞察是,強大工具未必帶來使用。研究人員習慣在電子郵件中工作,接收經紀人研究、訂閱列表和資料夾規則。Vault 將這些習慣遷移到新平台——訂閱列表變成已保存搜尋,資料夾變成已保存集合——才實現了產品與市場契合。隨後團隊將 Vault 部署到 Chat、手機應用、Slack、IDE 和 CLI,讓用戶和代理無縫整合。

Vault 的最新突破是「投資者工作台」。它讓代理從被動應答工具轉變為主動參與者——持續追蹤投資人關注的主題,主動推薦需要關注的領域,並向投資人呈現汇总、證據和分析工具連結。投資人深入研究後,所有學習成果自動回存到 Vault,形成複利效應——每一輪協作都豐富了語料庫,加速下一輪迴圈。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。