How Bridgewater Turned 100 Million Documents Into an Edge - Sam Green & Aaron Linsky, Bridgewater
三句話摘要
Bridgewater Associates 構建 Vault 數據平台,將非結構化數據轉化為投資流程中的一流資產,並闡述如何讓 AI 代理成為主動參與者而非被動工具。 讓 AI 代理持續學習企業知識並主動引導人類決策,需要構建精確適配人機混合需求的數據平台,並讓新工具融入既有工作流程而非取代它。 人機需求差異化設計:人類每分鐘閱讀 300 字,需要高精度和低雜訊比;代理每分鐘讀 30,000 字,對精度不敏感但需高規模。Vault 必須同時服務這兩類用戶,在召回率、精度、過濾、權限管理和規模五個維度都表現卓越。
重點整理
人機需求差異化設計:人類每分鐘閱讀 300 字,需要高精度和低雜訊比;代理每分鐘讀 30,000 字,對精度不敏感但需高規模。Vault 必須同時服務這兩類用戶,在召回率、精度、過濾、權限管理和規模五個維度都表現卓越。
搜尋精度的量化改進:初期精度@10 僅 60%,透過基準測試(200 個手工標記範例)識別問題,實施改進後提升至 90-95%。使用 TurboPuffer 的原生過濾方法,既保持搜尋速度,又維持接近前置過濾的高召回率。
工作流程遷移勝過功能堆砌:簡單推出強大工具不足以改變使用習慣。研究人員習慣用電子郵件和資料夾管理研究,Vault 將訂閱列表轉為已保存搜尋、資料夾轉為已保存集合,在熟悉的模式上層提供新能力,最終達成產品與市場契合。
代理從被動轉為主動參與:「投資者工作台」是關鍵轉變,代理持續監控並主動推薦重要主題,投資者檢視證據、深入研究後,系統自動將學習成果回存到 Vault,形成複利效應。
實用技巧與重點
- Vault 規模:1 億份以上文檔,135 個外部來源,每天新增數千份文檔
- 搜尋性能指標:精度@10 從 60% 提升至 90-95%
- 用戶規模對比:
- 人類:300 位使用者,每小時 100 次查詢,閱讀速度 300 字/分鐘
- 代理:100+ 查詢/秒,代理群可達數千次/秒,閱讀速度 30,000 字/分鐘
- 技術方案:TurboPuffer 原生過濾(native filtering)、向量資料庫
- 部署平台:Chat、手機應用、Slack、IDE、CLI
- 應用工具:
- Pocket Analyst:數分鐘完成數小時研究
- Researcher:跨日或週的深度研究
- Forecaster:宏觀相關預測
- 建立投資信號:將非結構化數據轉化為可交易策略
- 基準測試方法:200 個手工標記範例,不到一週完成
結論
讓 AI 代理持續學習企業知識並主動引導人類決策,需要構建精確適配人機混合需求的數據平台,並讓新工具融入既有工作流程而非取代它。
完整解析
Bridgewater Associates 在過去 50 年來始終追求對市場和經濟運作的深刻理解。從最初黃色便籤紙上的若干規則,演進到以人類為中心的持續複合流程,再到近年推進的人工投資助手(AiA)。隨著語言模型的出現,Bridgewater 發現能夠接觸的數據類型大幅擴展——新聞、研究報告、政策文件、內部備忘錄、會議記錄和企業內部辯論。這些非結構化數據同樣需要經過清理、治理和準備,才能用於當前的研究問題和長期系統性研究。現有的數據供應商無法提供所需的全面控制能力,因此 Bridgewater 構建了 Vault。
Vault 匯集超過 1 億份文檔、來自 135 個外部來源的數據,加上公司內部的所有非結構化資料。關鍵之處在於,這些數據不是簡單地堆放在投資人面前,而是精心對齊公司內部的本體論,並附加國家、概念、市場和涵蓋時期等豐富標籤。例如,一個簡單的投資問題「AI 基礎設施投資如何影響韓元,市場參與者是否預期這種影響將持續?」透過開放網路查詢時,可能只找到 15 個相關資源並僅採用其中一或二份;但透過 Vault,同一查詢在特定時間區間(如 10 月 1-8 日)內可找到 52 個相關文檔,最終答案可引用 7 份文檔,大幅提升答案品質和代理的信心。
設計面的核心挑戰在於人類和代理的需求差異。人類閱讀速度每分鐘 300 字,需要高精度和低雜訊;代理則每分鐘讀 30,000 字,不敏感於精度但需要極大規模。初期 Vault 搜尋精度@10 僅達 60%,團隊透過手工標記 200 個問題範例建立基準,系統性地改進精度至 90-95%。同時,為平衡搜尋速度與召回率,Vault 採用 TurboPuffer 的原生過濾技術,既避免前置過濾的速度瓶頸,也保持後置過濾的快速回應。在規模上,需從人類每小時 100 次查詢提升至代理 100+ 查詢每秒。
更深層的洞察是,強大工具未必帶來使用。研究人員習慣在電子郵件中工作,接收經紀人研究、訂閱列表和資料夾規則。Vault 將這些習慣遷移到新平台——訂閱列表變成已保存搜尋,資料夾變成已保存集合——才實現了產品與市場契合。隨後團隊將 Vault 部署到 Chat、手機應用、Slack、IDE 和 CLI,讓用戶和代理無縫整合。
Vault 的最新突破是「投資者工作台」。它讓代理從被動應答工具轉變為主動參與者——持續追蹤投資人關注的主題,主動推薦需要關注的領域,並向投資人呈現汇总、證據和分析工具連結。投資人深入研究後,所有學習成果自動回存到 Vault,形成複利效應——每一輪協作都豐富了語料庫,加速下一輪迴圈。


