KeyFrame內部研究專用

Why We Killed Our Multi-Agent Pipeline — Subbiah Sethuraman and Abhilash Asokan, ZS Associates

AI Engineer·7月23日週四·15 min英文

三句話摘要

ZS 公司如何構建多智能體管道系統,自動化製藥行業的商業分析工作流程,並透過知識圖譜作為控制平面解決代理協調問題。 多智能體系統成功的關鍵在於分離確定性工作與智能推理、保持單一主代理的推理掌控、以及用知識圖譜作為控制平面約束和指導代理導航,而非將圖譜視為被動的數據查找工具。 多代理分割的失敗根源:初始設計為每個分析步驟(信號檢測、根本原因分析、驅動因素歸因、綜合建議)分別建立代理,但導致代理間上下文丟失、輸出不一致。例如根本原因分析正確識別保險覆蓋降低,卻被綜合代理忽視,導致建議方向錯誤。

重點整理

重點
  • 1

    多代理分割的失敗根源:初始設計為每個分析步驟(信號檢測、根本原因分析、驅動因素歸因、綜合建議)分別建立代理,但導致代理間上下文丟失、輸出不一致。例如根本原因分析正確識別保險覆蓋降低,卻被綜合代理忽視,導致建議方向錯誤。

  • 2

    確定性工作與智能體工作的分離:信號檢測應由自動化統計管道負責(閾值、統計方法、異常檢測),而非交由語言模型判斷。這讓智能體專注於調查和推理,而非冗餘決策。

  • 3

    知識圖譜作為控制平面的核心角色:建立實體間關係圖(地理、支付方、品牌、KPI 及其驅動關係),指導代理可調查的維度、假設評估的邊界。代理透過遍歷知識圖譜的邊來形成假設,對照數據驗證,持續迭代直到找到根本原因。

  • 4

    單一主代理負責端到端推理:主代理掌控推理邏輯和判斷,必要時動態啟動子代理執行特定調查任務,但推理仍由主代理控制。這保證了邏輯一致性和業務上下文的連貫性。

實用技巧與重點

乾貨
  • 製藥行業分析四步驟
  • 信號檢測:如處方量下降 18%(4 週內)
  • 根本原因分析:保險報銷等級降低
  • 行動建議:增加銷售代表拜訪
  • 結果預測:品牌銷售業績提升
  • 初始系統的三大問題
  • 語言模型執行確定性任務(信號檢測),效率低且判斷不穩定
  • 多代理間頻繁交接導致上下文遺失(如保險覆蓋權重信息丟失)
  • 各代理缺乏共同業務領域知識(對 KPI 關係、指標因果性的理解不一致)
  • 知識圖譜結構
  • 實體維度:地理(區域)、支付方(保險商)、品牌、帳戶
  • KPI 關係:一級 KPI → 二級 KPI → 三級 KPI(因果驅動關係)
  • 實體連接規則:地理如何與支付方/品牌/帳戶關聯
  • 代理循環流程
  • 從實體進入知識圖譜,查看鄰域找出邊(假設)
  • 對照原始數據評估假設
  • 推理是否發現支持/反駁證據
  • 若支持則繼續遍歷圖,直到找到根本原因或遍歷完所有假設
  • 性能結果
  • 50 多個迴圈、大量 token 消耗後,系統性能穩定
  • 完成時間:20-30 分鐘(對標人類分析師 3-4 週)

結論

結論

多智能體系統成功的關鍵在於分離確定性工作與智能推理、保持單一主代理的推理掌控、以及用知識圖譜作為控制平面約束和指導代理導航,而非將圖譜視為被動的數據查找工具。

完整解析

詳細

ZS 公司面臨的核心問題源於製藥行業複雜的商業分析需求。製藥企業需要持續監控銷售訊號(如處方量變化),識別根本原因(競爭藥物、保險政策變更、銷售代表效能不足),制定對應行動方案,並預測行動結果。傳統流程需要分析師手動執行這四個步驟,耗時 3-4 週。

初期的多智能體方案看似邏輯完美:為每個步驟分配專門代理,透過協調代理連接。但實踐中暴露出三個致命缺陷。首先,訊號檢測被交由語言模型決策,但這本應是統計工作,導致代理時而正確、時而誤判噪聲。其次,多代理間頻繁交接導致關鍵信息丟失——根本原因分析正確識別保險覆蓋降低是瓶頸,但綜合代理無法理解這一上下文,只是機械地建議增加銷售代表,最終預測結果與原因脫鉤。第三,各代理對業務領域的理解不一致,無法把握 KPI 間的因果關係(如交易量如何驅動銷售業績、支付方政策如何影響患者可及性)。

轉折來自於團隊決定迴歸第一性原理,讓 Claude Code 在空白目錄中僅以 bash 和數據庫為工具自由探索如何解決問題。這次實驗啟發了三項核心改進。第一,將訊號檢測從智能體系統中完全分離,建立純粹的確定性自動化管道,使用統計方法、設定閾值和優先級,預先掃描數據識別異常、趨勢突破,只有訊號確認後才喚醒智能體進行調查。第二,觀察到 Claude Code 能夠反覆編寫函數、查詢數據庫、進行複雜推理,團隊決定將整個推理流程整合到單一主代理中,在必要時才動態啟動子代理執行特定調查,但推理邏輯始終由主代理控制,這消除了跨代理的上下文交接。

第三項改進是引入知識圖譜作為控制平面。這不僅是數據查找層,更是代理導航和決策的骨架。知識圖譜明確定義了所有業務實體(地理、支付方、品牌、帳戶)及其關係,以及 KPI 的多級因果結構。代理在知識圖譜中遍歷時,每條邊代表一個待驗證的假設。當代理發現交易量在全國下降,知識圖譜指導其按地理、支付方、帳戶等維度進行根因定位;一旦定位到具體維度,代理再透過 KPI 間的驅動關係推導根本原因。這個迴圈式過程持續進行,直到代理找到最終的根本原因或遍歷完所有合理假設。知識圖譜的存在確保代理不會超出業務邏輯邊界亂推測,同時保證了每個假設的評估都有數據支撐。

經過約 50 輪迴圈和大量 token 消耗的訓練後,系統達到穩定。現在它能在 20-30 分鐘內完成從訊號檢測、根因定位、假設驗證到建議生成的完整分析流程,相比人類分析師的 3-4 週,效率提升了 10 倍以上。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。