KeyFrame內部研究專用

Your Company Has No Model of Itself. Agents Can Build One - Joao Wenzel, Citadel Securities

AI Engineer英文
觀看原始影片

三句話摘要

在企業中使用AI代理建立機構記憶層,讓代理系統能像資深員工一樣理解公司狀態、預測未來走向。 企業需要把機構記憶視為狀態估計器而非簡單的資料庫,透過多源訊號整合與預測回測,讓代理能逐漸逼近人類資深員工的戰略直覺。 雙源資訊整合的威力 — 戰略文件往往粉飾真相(「西瓜項目」外綠內紅),必須結合底層訊號如Slack、代碼變更等才能看清全貌。單純RAG無法捕捉這種差異。

重點整理

  1. 雙源資訊整合的威力 — 戰略文件往往粉飾真相(「西瓜項目」外綠內紅),必須結合底層訊號如Slack、代碼變更等才能看清全貌。單純RAG無法捕捉這種差異。

  2. 狀態估計器概念的應用 — 從機器人學借鑒,對每份訊息都要考慮三點:多久沒看到新證據了、訊號來源是否可信、是否與其他來源一致。資訊越舊越模糊,新證據出現時才能更新確信度。

  3. 專業化工作流優於簡單方案 — 不能直接讓模型掃過全部資料(會遺漏細節),而要設計一系列專家代理分別審視不同資產、相互審查,這樣洞察更新的質量提升超過2倍。

  4. 預測能力源自回溯評估 — 透過在過去某個日期建立快照、對比後續實際結果,發現被標記為「有問題但顯示綠色」的項目轉為黃色/紅色的機率是普通綠色的2倍。

實用技巧與重點

  • 系統運作時間 — 已執行3年
  • 數據量規模 — 涵蓋數千份月度狀態文件
  • 核心循環 — 更新(Update) → 時間衰減(Age) → 觀察(Observe) → 評分(Grade) → 修正(Correct)
  • 預測準確度 — 被代理標記為有風險的綠色項目,轉為黃/紅的機率提升2倍
  • 訊號來源 — 月度狀態文件、Slack對話、PR代碼變更、使用者會話追蹤記錄、會議記錄
  • 時間衰減洞察 — 過去3年中,平均有50%交付日期在2個月內變更,90%變更為比原訂更晚的日期
  • 代理發現效率 — 使用專業化工作流後,深入洞察更新增加超過2倍
  • 關鍵問題未解 — 如何優雅地映射分散在4個不同系統中的相同客戶記錄

結論

企業需要把機構記憶視為狀態估計器而非簡單的資料庫,透過多源訊號整合與預測回測,讓代理能逐漸逼近人類資深員工的戰略直覺。

完整解析

每個組織內都有一位「人形世界模型」——那個經歷17次組織重組、掌握所有八卦與政治動向、總能預測戰略舉措結果的資深員工。但這個人無法擴展,知識也難以記錄。Citadel Securities面臨一個更大的挑戰:他們的代理系統已經能寫出高品質代碼,但能否幫助定義和精化公司戰略?答案需要一個完整的機構記憶層。

戰略本質上回答三個問題:我們現在在哪裡、接下來會發生什麼、我們如何走到這裡。要回答這些問題,代理需要對所在組織有深入認識——從團隊關係、專案歷史到組織政治。資訊來自兩個方向:自上而下的戰略文件乾淨整潔卻充滿主觀偏見(「西瓜項目」外表綠亮內裡紅透),自下而上的Slack、會議記錄、代碼變更充滿噪音卻蘊含大量訊號。真相在它們交匯之處。

解決方案來自機器人學的狀態估計器概念。對每項事實都要維護一份信念:愈久未見新證據就愈不確定,直到某份文件或對話線索出現才能更新。評估任何更新時需考慮三點:上次觀察到相關訊號多久前了、訊號來源是否仍可信、它是否與其他感測器一致。

Citadel建立了一個五階段循環系統。更新階段像處理月度狀態文件那樣,同時提取XML結構和視覺模型輸出以捕捉完整圖景。時間衰減階段認識到每項事實都有「半衰期」——交付日期在兩個月內變更的占50%,變更為更晚日期的占90%。觀察階段不再採用簡單的「讓模型掃一遍所有資料」做法,而是讓多個專家代理分別審視特定資料、相互檢查,結果發現洞察更新品質提升超過2倍。評分階段透過回測驗證預測能力——將快照設定在過去某個日期,對比後續實際發生的情況,發現被代理標記為「有風險但顯示綠色」的項目轉為黃/紅的機率達到普通綠色項目的2倍。修正階段邀請人類回饋,但講者強調了三個微妙之處:要在使用者所在的地方(應用、Slack或郵件)收集回饋;要區分是修正單一事實還是規則,規則修正能改善所有相關輸出;回饋品質與提問方式、時機密切相關。

這套系統已運作3年,涵蓋數千份文件。它被用於指導領導對話,從差異處開始而非要求高管逐一過幕;生成每週摘要告訴經理哪些進展受關注、哪些陷入沉寂;為每個代理提供可信的背景層。講者現正探索將這模式擴展至客戶關係,希望從不同系統的分散記錄、內外部訊號中建立客戶模型以預測需求。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。