Your Company Has No Model of Itself. Agents Can Build One - Joao Wenzel, Citadel Securities
三句話摘要
在企業中使用AI代理建立機構記憶層,讓代理系統能像資深員工一樣理解公司狀態、預測未來走向。 企業需要把機構記憶視為狀態估計器而非簡單的資料庫,透過多源訊號整合與預測回測,讓代理能逐漸逼近人類資深員工的戰略直覺。 雙源資訊整合的威力 — 戰略文件往往粉飾真相(「西瓜項目」外綠內紅),必須結合底層訊號如Slack、代碼變更等才能看清全貌。單純RAG無法捕捉這種差異。
重點整理
雙源資訊整合的威力 — 戰略文件往往粉飾真相(「西瓜項目」外綠內紅),必須結合底層訊號如Slack、代碼變更等才能看清全貌。單純RAG無法捕捉這種差異。
狀態估計器概念的應用 — 從機器人學借鑒,對每份訊息都要考慮三點:多久沒看到新證據了、訊號來源是否可信、是否與其他來源一致。資訊越舊越模糊,新證據出現時才能更新確信度。
專業化工作流優於簡單方案 — 不能直接讓模型掃過全部資料(會遺漏細節),而要設計一系列專家代理分別審視不同資產、相互審查,這樣洞察更新的質量提升超過2倍。
預測能力源自回溯評估 — 透過在過去某個日期建立快照、對比後續實際結果,發現被標記為「有問題但顯示綠色」的項目轉為黃色/紅色的機率是普通綠色的2倍。
實用技巧與重點
- 系統運作時間 — 已執行3年
- 數據量規模 — 涵蓋數千份月度狀態文件
- 核心循環 — 更新(Update) → 時間衰減(Age) → 觀察(Observe) → 評分(Grade) → 修正(Correct)
- 預測準確度 — 被代理標記為有風險的綠色項目,轉為黃/紅的機率提升2倍
- 訊號來源 — 月度狀態文件、Slack對話、PR代碼變更、使用者會話追蹤記錄、會議記錄
- 時間衰減洞察 — 過去3年中,平均有50%交付日期在2個月內變更,90%變更為比原訂更晚的日期
- 代理發現效率 — 使用專業化工作流後,深入洞察更新增加超過2倍
- 關鍵問題未解 — 如何優雅地映射分散在4個不同系統中的相同客戶記錄
結論
企業需要把機構記憶視為狀態估計器而非簡單的資料庫,透過多源訊號整合與預測回測,讓代理能逐漸逼近人類資深員工的戰略直覺。
完整解析
每個組織內都有一位「人形世界模型」——那個經歷17次組織重組、掌握所有八卦與政治動向、總能預測戰略舉措結果的資深員工。但這個人無法擴展,知識也難以記錄。Citadel Securities面臨一個更大的挑戰:他們的代理系統已經能寫出高品質代碼,但能否幫助定義和精化公司戰略?答案需要一個完整的機構記憶層。
戰略本質上回答三個問題:我們現在在哪裡、接下來會發生什麼、我們如何走到這裡。要回答這些問題,代理需要對所在組織有深入認識——從團隊關係、專案歷史到組織政治。資訊來自兩個方向:自上而下的戰略文件乾淨整潔卻充滿主觀偏見(「西瓜項目」外表綠亮內裡紅透),自下而上的Slack、會議記錄、代碼變更充滿噪音卻蘊含大量訊號。真相在它們交匯之處。
解決方案來自機器人學的狀態估計器概念。對每項事實都要維護一份信念:愈久未見新證據就愈不確定,直到某份文件或對話線索出現才能更新。評估任何更新時需考慮三點:上次觀察到相關訊號多久前了、訊號來源是否仍可信、它是否與其他感測器一致。
Citadel建立了一個五階段循環系統。更新階段像處理月度狀態文件那樣,同時提取XML結構和視覺模型輸出以捕捉完整圖景。時間衰減階段認識到每項事實都有「半衰期」——交付日期在兩個月內變更的占50%,變更為更晚日期的占90%。觀察階段不再採用簡單的「讓模型掃一遍所有資料」做法,而是讓多個專家代理分別審視特定資料、相互檢查,結果發現洞察更新品質提升超過2倍。評分階段透過回測驗證預測能力——將快照設定在過去某個日期,對比後續實際發生的情況,發現被代理標記為「有風險但顯示綠色」的項目轉為黃/紅的機率達到普通綠色項目的2倍。修正階段邀請人類回饋,但講者強調了三個微妙之處:要在使用者所在的地方(應用、Slack或郵件)收集回饋;要區分是修正單一事實還是規則,規則修正能改善所有相關輸出;回饋品質與提問方式、時機密切相關。
這套系統已運作3年,涵蓋數千份文件。它被用於指導領導對話,從差異處開始而非要求高管逐一過幕;生成每週摘要告訴經理哪些進展受關注、哪些陷入沉寂;為每個代理提供可信的背景層。講者現正探索將這模式擴展至客戶關係,希望從不同系統的分散記錄、內外部訊號中建立客戶模型以預測需求。


