KeyFrame內部研究專用

If we want them to do Knowledge Work, design them as Knowledge Agents — Benjamin Clavié, Mixedbread

AI Engineer英文
觀看原始影片

三句話摘要

AI代理應設計成知識工作者而非編碼代理,通過學習人類知識工作的組織方式與工具演進邏輯來優化性能。 學習幾千年來人類知識工作的組織方式與分層結構,並將其應用到AI代理設計中,是突破當今代理性能天花板的關鍵。 代理演進的三個階段:從早期RAG檢索、到編碼代理時代、再到當今知識工作代理。編碼雖是知識工作的重要形式,但知識工作遠遠超越編碼——律師研究法律文件、醫療代理尋找醫學資訊等都屬於知識工作。

重點整理

  1. 代理演進的三個階段:從早期RAG檢索、到編碼代理時代、再到當今知識工作代理。編碼雖是知識工作的重要形式,但知識工作遠遠超越編碼——律師研究法律文件、醫療代理尋找醫學資訊等都屬於知識工作。

  2. 知識工作的根本定義:主輸入是資訊而非物質、需處理模糊且分散的訊息、輸出是可行動的決策或判斷。判斷標準簡單明確:如果需要搜尋,就是知識問題;如果是知識問題,就需要搜尋。

  3. 編碼與知識工作的關鍵差異:編碼擁有持久且易識別的線索(函數定義、檔案路徑等),而知識工作中同一線索可能有多重含義——「30天」可能是截止日期、寬限期或保留規則,需要大量上下文判斷。此外,編碼任務通常高度結構化,而知識工作任務開放式且需要代理自行分解。

  4. 工具與組織的共同演進:更好的工具使任務變得可擴展與經濟實惠,進而驅動組織變革(如從單一專家到現代法律事務所、醫療體系的分層結構),兩者形成自我強化循環。工具並非中立的—其存在與否決定了任務是否真正可行和成本效益。

實用技巧與重點

  • 評估基準與性能數據
  • BROWSE COMP+ 排行榜:評估200,000份文檔的深度研究任務
  • 未優化BM25:60%準確率 → 未可用
  • 優化BM25:70-80%準確率
  • 混合檢索系統:98%準確率,比90.2%準確率少20%工具調用
  • 工具優化效果:相比未優化基線,資源耗費降至5%
  • MQA基準測試:企業級任務,包含PDF與OCR版本
  • BM25上限:與人類相同的性能天花板
  • Gemini 3 + Mix Bread多模態搜尋工具:準確率提升
  • Mix Bread分層代理架構:準確率提升3.5個百分點
  • Oracle差距縮小:從10點降至6點(性能缺口減少40%)
  • 代理組織架構模式
  • 主代理:接收開放式客戶問題,分解為具體子任務
  • 子代理:執行特定搜尋任務,產出備忘錄回傳主代理
  • 主代理基於子代理結果回答最終問題
  • 搜尋工具原語
  • BM25:詞彙搜尋
  • 語義搜尋:向量式搜尋
  • 多模態搜尋:處理PDF、表格、圖像等
  • 知識工作的歷史演進
  • 工具循環:寫作 → 亞歷山大圖書館 → 書目系統 → 杜威分類法 → 搜尋引擎
  • 組織循環:單一天才專家 → 知識守護者修道院 → 大學 → 現代專業組織分層(如醫院體系:醫生、資深醫生、執業護師、護士、保健助理)

結論

學習幾千年來人類知識工作的組織方式與分層結構,並將其應用到AI代理設計中,是突破當今代理性能天花板的關鍵。

完整解析

講者從代理技術的演進開始。最初階段(2022年左右),代理只能執行簡單的檢索工作——用戶提問,系統搜尋PDF並回答,功能有限。隨後進入編碼代理時代,代理能夠執行工具調用、理解複雜任務,代碼補全與程式設計成為主流應用。但講者主張,編碼只是知識工作的特例,真正的知識工作遠遠更廣闊。

知識工作的核心特徵是輸入為資訊、輸出為決策。律師尋找法律判例、醫生查閱醫學文獻、金融分析師研究市場資訊——這些都屬於知識工作。編碼之所以相對容易被代理執行,是因為程式碼具有明確的結構線索:函數定義、變數名稱、檔案路徑都是持久且易識別的參考點。而且,編碼任務通常高度結構化,用戶已經清楚知道想要什麼。

相比之下,知識工作存在三個主要挑戰。首先,同一個詞可能有多個含義——在合約中搜尋「30天」,可能是付款截止期、退貨寬限期或資料保留規則。其次,知識工作任務往往開放式且模糊,客戶通常只有一個粗略的問題,代理需要自行分解成可搜尋的子問題。第三,上下文極為重要,同一資訊在不同背景下可能有完全不同的含義。

講者展示了實驗數據。在BROWSE COMP+ 基準測試上,未優化的BM25只達到60%準確率,優化後提升至70-80%,但混合檢索系統能達到98%。更重要的是,98%準確率只需要90.2%準確率所需工具調用次數的80%——這意味著20%的成本節省,在大規模應用中等同於「20%的免費現金」。實踐中,如果搜尋工具需要25次調用才能完成任務,沒人會使用;但若只需8次,這個工作流就變得可行。

進一步的測試(MQA基準測試)揭示了另一個關鍵洞察:即使是人類專家,在使用BM25時也無法突破某個準確率天花板。這表明工具本身成為了限制因素。當引入能處理PDF、表格、圖像的多模態搜尋工具後,性能有顯著躍升。但有趣的現象是,即使有這些更好的工具,單個代理的性能(88.9%)仍然遠低於人類(99.4%)。

這促使講者開發了分層代理架構,模擬真實的知識工作組織方式(如律師事務所)。主代理接收開放式問題,將其分解為具體的搜尋任務分配給多個子代理。子代理獨立執行搜尋,回傳精煉的結果備忘錄給主代理。主代理基於這些結果合成最終答案。這個架構設計將準確率提升了3.5個百分點,更重要的是,將「oracle差距」(完美搜尋結果與實際系統性能的差距)從10點縮小至6點,相當於削減了40%的性能缺口。

這個演進模式反映了人類知識工作數千年的發展軌跡。從單一天才專家模式,進化到修道院(知識守護者)、大學、再到現代專業組織的分層結構。醫院裡的醫生、資深醫生、執業護師、護士、保健助理各司其職,不同層級的工作者承擔難度與責任不同的任務。這不是低效率的重複,而是高度優化的系統設計。

講者強調,設計更好的代理系統需要三個要素。首先,不要過度依賴工具本身——工具是為了突破天花板而設計,不是為了自動優化。其次,代理需要了解多個搜尋原語(BM25、語義搜尋、多模態搜尋)並知道何時使用哪個。最後,也是最重要的,上下文是有限資源——即使模型能處理1億個token,也無法涵蓋一個國家的所有法律、醫學、專業知識,因此必須通過任務分解和層級化編排來組織知識。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。