Backtest Your Agent Against Yesterday's Web — Ryan Ahern, Exa
三句話摘要
Exa推出Snapshot功能,讓AI應用能時間旅行搜尋歷史網頁內容,進行機器學習模型回測。 Exa Snapshot讓AI模型能在過去時間點蒐集真實資訊進行回測,防止依賴未來資訊的虛假成功,真正驗證搜尋功能對預測的實際價值。 Exa為大型AI代理系統提供網頁搜尋服務,如Cursor編輯器與Gamma簡報工具,解決模型知識窗口外的資訊需求。在金融領域廣泛應用於對沖基金、主權財富基金和資產管理公司,用於蒐集用於交易決策的市場資訊與風險信號。
重點整理
Exa為大型AI代理系統提供網頁搜尋服務,如Cursor編輯器與Gamma簡報工具,解決模型知識窗口外的資訊需求。在金融領域廣泛應用於對沖基金、主權財富基金和資產管理公司,用於蒐集用於交易決策的市場資訊與風險信號。
Snapshot提供時間版本化的搜尋,透過內容版本控制和版本搜尋兩種方式,讓使用者回到特定日期查詢網頁狀態與執行過去的搜尋查詢。例如可在收購宣布前一日搜尋,確保只能取得當時真實存在的公開資訊。
版本搜尋解決機器學習回測中的關鍵問題:防止未來資訊洩露。傳統回測常因模型能看到所有歷史資料而產生虛假的高準確率,Snapshot則限制資訊只能來自該時間點,確保模型評估的真實性。
回測應用分為兩層:傳統模型蒐集歷史特徵進行驗證,以及完全智能代理模型在執行時動態決定是否搜尋。兩者都需要獨立的持有集合防止過度擬合,競賽結果即示範了未經驗證的特徵會在已知集上過度擬合。
實用技巧與重點
- Exa索引規模:100億份文件、數兆個URL版本
- 搜尋速度:亞300毫秒到20分鐘(找3,212個電玩發行商案例)
- Snapshot查詢方式:內容版本控制(特定URL+日期)、版本搜尋(過去時間點執行搜尋)
- 主要使用者:Cursor、Gamma、對沖基金、主權財富基金、資產管理、風險投資
- 金融案例:OpenAI營收會計分類(70億vs50億美元)、Ed Sheeran負面新聞追蹤
- 競賽得分:正確預測+1分、假正-1分、漏報或正確拒絕0分
- 競賽時間:30分鐘搜尋10家公司
- 預測特徵例子:CEO/CFO流失、報導探索出售、上市公司、投資人呼籲出售、股價較5年高點下跌60%以上、非目標公司清單(過度擬合示範)
結論
Exa Snapshot讓AI模型能在過去時間點蒐集真實資訊進行回測,防止依賴未來資訊的虛假成功,真正驗證搜尋功能對預測的實際價值。
完整解析
Exa是專為AI代理系統設計的網頁搜尋引擎,核心競爭力在於三個維度:搜尋品質、成本效益與延遲時間。隨著AI應用普及,搜尋需求大幅增加。與人類使用者傾向於在搜尋首頁停下不同,AI系統會持續多輪搜尋直到找到答案。Exa透過自有再生式基準測試保持品質進步,並開發技術精簡輸出權杖,降低使用者成本。支援亞秒級到分鐘級的多層次搜尋速度,已成為Cursor、Gamma等主流應用的基礎設施。在金融機構中,對沖基金用於尋找交易信號,資產管理公司用於風險預測,風險投資用於搶先發現新創企業。
Exa最新的Snapshot功能解決機器學習回測的根本問題:過去資訊的可驗證性。系統維護著每個URL的多個歷史快照,提供兩種查詢機制。內容版本控制允許使用者指定URL和日期,直接取得該時期的網頁內容。版本搜尋則更進一步,使用者輸入搜尋查詢後,系統會回傳該過去時間點會出現的搜尋結果。這解決了一個隱藏但致命的回測陷阱:未來資訊洩露。假設你在設計預測公司收購的系統,如果用今日的搜尋去測試歷史數據,你的系統會看到收購已發生的新聞,導致虛假的完美準確率。使用Snapshot在收購前一週搜尋,系統只能看到當時真正存在的資訊,回測結果才能反映真實效能。
版本搜尋的應用層次有兩種。傳統機器學習模式下,使用者蒐集歷史特徵(如過去5年所有公司收購案例)來訓練模型,檢驗當時的網頁內容是否包含預示信號。進階應用則是完全智能代理模型,系統在執行時動態決定是否調用網頁搜尋工具,整合內部知識、結構化外部資訊與即時搜尋,模擬人類決策流程。講者在會場舉辦的互動競賽完美展示了這個概念。參與者需在30分鐘內找出最佳特徵組合,預測10家公司中哪些會被收購。競賽結果非常有教育意義:第一名使用了「非Qiagen、Viris、Bank of Crypto、American Electric Power」的特徵,在已知10家測試公司上表現完美,但這顯然是記死測試集的過度擬合。這正是為什麼持有集合(holdout set)至關重要——再優秀的模型也會在未見過的資料上失敗。


