KeyFrame內部研究專用

Version-Controlled Search: The Web as It Was — Ryan Ahern, Exa

AI Engineer英文
觀看原始影片

三句話摘要

介紹 Exa 的版本控制搜尋功能及其在回測財務模型中的應用。 版本控制搜尋讓 AI 開發者可在生產環境之外安全回測智能體特徵,驗證搜尋能力是否真正改善預測模型的準確度與泛化能力。 AI Agent 搜尋方式與人類根本不同:Agent 會執行多次搜尋,用冗長的自然語言詳細描述需求,而人類通常輸入幾個關鍵詞就希望得到答案,這導致 Agent 每項任務需要更多搜尋次數。

重點整理

  1. AI Agent 搜尋方式與人類根本不同:Agent 會執行多次搜尋,用冗長的自然語言詳細描述需求,而人類通常輸入幾個關鍵詞就希望得到答案,這導致 Agent 每項任務需要更多搜尋次數。

  2. Exa 強調品質、成本效益與延遲三大核心原則,其中成本考量不止單次搜尋費用,而是整個 Agent 完成任務的總成本,因此開發了動態重點摘要等最佳化技術。

  3. ExaSnapshot 不只能透過 URL 與日期取得過往版本,更提供版本搜尋功能,模擬在特定過往時間點執行搜尋,只返回那時存在的結果,這對金融分析特別有價值。

  4. 版本搜尋支援三類應用場景:傳統模型配合網頁資料萃取、現有模型增加智能體搜尋特徵(如逆向媒體掃描)、完全智能體驅動的預測系統,開發者可透過回測驗證每個方案的實際效果。

實用技巧與重點

  • 產品名稱:Exa、ExaSnapshot、ExaAgent Ultra、動態重點摘要(Dynamic highlights)
  • 快照規模:4000 億+ 網頁快照,可按日期搜尋
  • 成本降低:動態重點摘要相比全頁文本減少 95% 的 Token
  • 回測應用類型:
  • 第一類:傳統 ML 模型 + 網頁資料萃取(軟體定價、情感分析、條款內容)
  • 第二類:現有模型 + 智能體搜尋特徵(逆向媒體掃描、股權研究)
  • 第三類:完全智能體驅動的預測系統
  • 回測時間點:公告前 1 天、7 天、1 個月進行預測準確率測試
  • 過度擬合防護:使用驗證集、多樣本測試、泛化能力檢驗

結論

版本控制搜尋讓 AI 開發者可在生產環境之外安全回測智能體特徵,驗證搜尋能力是否真正改善預測模型的準確度與泛化能力。

完整解析

Exa 是專為 AI Agent 設計的網路搜尋引擎。與傳統搜尋的人類使用模式相比,AI Agent 搜尋方式截然不同:人類通常輸入少數關鍵詞並期待前幾個結果就是答案,若不滿意才換個查詢;但 Agent 會不知疲倦地執行多次搜尋,用冗長的自然語言詳細描述需求,直到充分理解整個搜尋領域後才回應。這導致 Agent 每項任務需要執行遠多於人類的搜尋次數。Exa 已成為眾多智能體系統背後的搜尋引擎,包括 Cursor 的編碼助手(需要最新文件)、Gamma 簡報工具(需要特定財務資料如 2018 年蘋果 SEC 資訊)。服務客戶遍及對沖基金、資產管理公司、主權基金、風險投資等機構,他們需要最新資訊以掌握市場優勢、評估風險或發現新興機會。

Exa 強調三大核心原則。品質方面,最近發布新基準測試,能更準確評估搜尋工具性能,與推理模型分開測量。成本方面,Exa 不僅考慮單次搜尋費用,更重視整個 Agent 完成任務的總成本。為此開發了動態重點摘要技術:不返回完整頁面或單一頁面重點摘要,而是精確提取所有搜尋結果中最相關的片段,實現 95% 的 Token 減少,大幅降低下游推理成本。延遲方面,由於 Exa 擁有自家爬蟲基礎設施、資料庫和檢索架構,可提供極低延遲搜尋;同時提供 ExaAgent Ultra 針對長時間深度研究最佳化。

ExaSnapshot 是 Exa 最新功能,包含超過 4000 億個網頁快照。當爬取網頁時,Exa 會檢查新鮮度並記錄版本歷史。使用者可透過兩種方式存取:一是指定 URL 和日期,取得該日期或之前的版本;二是使用版本搜尋,模擬在過往特定時間點執行搜尋,只返回那時存在的結果。以 OpenAI 營收估計為例,10 月初報導年化營收為 700 億美元,但後來因會計方式修正(區分毛營收與淨營收),估計下調至 500 億美元。透過版本搜尋,分析師可回溯在公告前是否存在 SEC 文件或其他報導揭露此差異,在市場認知統一前追蹤訊息流向。

版本搜尋最關鍵應用是回測財務模型與預測系統。有三種典型架構:首先是傳統 ML 或決策樹模型配合網頁資料萃取(如軟體定價、情感分析);其次是在現有模型基礎上增加智能體搜尋特徵,例如逆向媒體掃描(搜尋有害新聞)或股權研究(蒐集公司指標如營收、員工數);最後是完全由 Agent 驅動的預測系統,Agent 自主存取網路和內部知識庫。透過版本搜尋回測併購預測,開發者可測試模型在公告前 1 天、7 天或 1 個月時的預測準確率。一個實際案例中,參與者的特徵包括「過去一年是否有投資者要求出售公司」和「股價是否跌至五年高點以下 60%」,但模型對特定公司「Dominion」的過度擬合被檢測出。版本搜尋的回測機制讓開發者設定驗證集、多樣本測試來檢測過度擬合,並驗證特徵泛化能力,無需等待數月的實際市場反饋。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。