KeyFrame內部研究專用

Backtest Your Agent Against Yesterday's Web — Ryan Ahern, Exa

AI Engineer英文
觀看原始影片

三句話摘要

Exa推出Snapshot功能,讓AI應用能時間旅行搜尋歷史網頁內容,進行機器學習模型回測。 Exa Snapshot讓AI模型能在過去時間點蒐集真實資訊進行回測,防止依賴未來資訊的虛假成功,真正驗證搜尋功能對預測的實際價值。 Exa為大型AI代理系統提供網頁搜尋服務,如Cursor編輯器與Gamma簡報工具,解決模型知識窗口外的資訊需求。在金融領域廣泛應用於對沖基金、主權財富基金和資產管理公司,用於蒐集用於交易決策的市場資訊與風險信號。

重點整理

  1. Exa為大型AI代理系統提供網頁搜尋服務,如Cursor編輯器與Gamma簡報工具,解決模型知識窗口外的資訊需求。在金融領域廣泛應用於對沖基金、主權財富基金和資產管理公司,用於蒐集用於交易決策的市場資訊與風險信號。

  2. Snapshot提供時間版本化的搜尋,透過內容版本控制和版本搜尋兩種方式,讓使用者回到特定日期查詢網頁狀態與執行過去的搜尋查詢。例如可在收購宣布前一日搜尋,確保只能取得當時真實存在的公開資訊。

  3. 版本搜尋解決機器學習回測中的關鍵問題:防止未來資訊洩露。傳統回測常因模型能看到所有歷史資料而產生虛假的高準確率,Snapshot則限制資訊只能來自該時間點,確保模型評估的真實性。

  4. 回測應用分為兩層:傳統模型蒐集歷史特徵進行驗證,以及完全智能代理模型在執行時動態決定是否搜尋。兩者都需要獨立的持有集合防止過度擬合,競賽結果即示範了未經驗證的特徵會在已知集上過度擬合。

實用技巧與重點

  • Exa索引規模:100億份文件、數兆個URL版本
  • 搜尋速度:亞300毫秒到20分鐘(找3,212個電玩發行商案例)
  • Snapshot查詢方式:內容版本控制(特定URL+日期)、版本搜尋(過去時間點執行搜尋)
  • 主要使用者:Cursor、Gamma、對沖基金、主權財富基金、資產管理、風險投資
  • 金融案例:OpenAI營收會計分類(70億vs50億美元)、Ed Sheeran負面新聞追蹤
  • 競賽得分:正確預測+1分、假正-1分、漏報或正確拒絕0分
  • 競賽時間:30分鐘搜尋10家公司
  • 預測特徵例子:CEO/CFO流失、報導探索出售、上市公司、投資人呼籲出售、股價較5年高點下跌60%以上、非目標公司清單(過度擬合示範)

結論

Exa Snapshot讓AI模型能在過去時間點蒐集真實資訊進行回測,防止依賴未來資訊的虛假成功,真正驗證搜尋功能對預測的實際價值。

完整解析

Exa是專為AI代理系統設計的網頁搜尋引擎,核心競爭力在於三個維度:搜尋品質、成本效益與延遲時間。隨著AI應用普及,搜尋需求大幅增加。與人類使用者傾向於在搜尋首頁停下不同,AI系統會持續多輪搜尋直到找到答案。Exa透過自有再生式基準測試保持品質進步,並開發技術精簡輸出權杖,降低使用者成本。支援亞秒級到分鐘級的多層次搜尋速度,已成為Cursor、Gamma等主流應用的基礎設施。在金融機構中,對沖基金用於尋找交易信號,資產管理公司用於風險預測,風險投資用於搶先發現新創企業。

Exa最新的Snapshot功能解決機器學習回測的根本問題:過去資訊的可驗證性。系統維護著每個URL的多個歷史快照,提供兩種查詢機制。內容版本控制允許使用者指定URL和日期,直接取得該時期的網頁內容。版本搜尋則更進一步,使用者輸入搜尋查詢後,系統會回傳該過去時間點會出現的搜尋結果。這解決了一個隱藏但致命的回測陷阱:未來資訊洩露。假設你在設計預測公司收購的系統,如果用今日的搜尋去測試歷史數據,你的系統會看到收購已發生的新聞,導致虛假的完美準確率。使用Snapshot在收購前一週搜尋,系統只能看到當時真正存在的資訊,回測結果才能反映真實效能。

版本搜尋的應用層次有兩種。傳統機器學習模式下,使用者蒐集歷史特徵(如過去5年所有公司收購案例)來訓練模型,檢驗當時的網頁內容是否包含預示信號。進階應用則是完全智能代理模型,系統在執行時動態決定是否調用網頁搜尋工具,整合內部知識、結構化外部資訊與即時搜尋,模擬人類決策流程。講者在會場舉辦的互動競賽完美展示了這個概念。參與者需在30分鐘內找出最佳特徵組合,預測10家公司中哪些會被收購。競賽結果非常有教育意義:第一名使用了「非Qiagen、Viris、Bank of Crypto、American Electric Power」的特徵,在已知10家測試公司上表現完美,但這顯然是記死測試集的過度擬合。這正是為什麼持有集合(holdout set)至關重要——再優秀的模型也會在未見過的資料上失敗。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。