Design Patterns for AI Trust: Juries, Libraries, and Agent Tiers — Alex Bauer, Upside.tech
三句話摘要
在代理型GTM時代，建立信任機制比調教提示更重要——像管理人類團隊一樣管理AI代理。 建立AI信任的秘訣不在於完美提示詞，而在於提供清晰的結構、知識基礎和協作流程——本質上就是對待AI的方式應如同對待人類專家團隊。 管理AI代理就像管理人類團隊——給他們指揮官意圖（為什麼做）而不是微觀指令（怎麼做）。使用通用提示工程的技巧（如Perfect Prompt Incantation）往往效率低；直接告訴AI目標和背景，它會自己找到更好的執行方式，就像對人類團隊一樣。
重點整理
重點- 1
管理AI代理就像管理人類團隊——給他們指揮官意圖（為什麼做）而不是微觀指令（怎麼做）。使用通用提示工程的技巧（如Perfect Prompt Incantation）往往效率低；直接告訴AI目標和背景，它會自己找到更好的執行方式，就像對人類團隊一樣。
- 2
搭建結構先行，然後放手——直接讓Claude處理網站重做會失敗，需要先定義anchor assets（錨點資產），包括產品能力參考表、Persona定義等。結構清楚後，AI的幻覺會大幅減少，因為它知道要參照什麼。
- 3
引入Librarian（圖書館員）打破幻覺——不讓代理直接回答數據問題，而是讓它先查詢組織知識庫、定義庫、失敗查詢歷史。AI會發現「Q1應該是2月-4月」而非直接猜測，並提供引用鏈接，確保答案可驗證。
- 4
複雜決策用Jury Model而非單一分析師——多個獨立分析師並行研究同一問題，各自給出證據支持的觀點，最後由Judge綜合評估各分析師的推理質量並給出最終結論。這比單一AI反覆思考產生更信任的結果。
實用技巧與重點
乾貨- 具體案例與數據：
- 網站重做：前公司需要多名產品行銷、設計師、PM、Web團隊，耗時2個月；用Claude搭建好架構後可大幅加速
- 工具與機制名稱：
- Commander's Intent（來自軍事學說）
- Anchor assets（錨點資產）
- Product Capability Reference（產品能力參考）
- DSLOP skill
- Persona bench（個角代理）
- Radiant Librarians（輻射型圖書館員系統）
- Jury and Judge workflow（陪審團與法官工作流）
- 參考資源：
- 書籍推薦：《Positioning》（產品定位）
- 線上總結：特別是第5-6步
- Agent Tiers標準：
- Tier 2以上才適合重要工作
- 需具備：強大模型、Sub-agents、Plan Mode、完整MCP支持、文件編輯能力
- 避免：預付費訂閱制挾持的產品（ChatGPT Web Interface）
- Multi-touch Attribution案例：
- 公司花2年開發，最後發現AI原生數據層（Data Layer）才是核心需求
- 用Opus啟用的Jury-Judge流程產生有說服力的歸因結果
結論
結論“建立AI信任的秘訣不在於完美提示詞，而在於提供清晰的結構、知識基礎和協作流程——本質上就是對待AI的方式應如同對待人類專家團隊。”
完整解析
詳細演講者以一則寓言故事開場，講述Go-to-market團隊在數據堆積如山和多頭巨龍（資訊混亂）的困境中，最終發現救星不是天才冒險者，而是經過良好準備的普通冒險者——這隱喻了AI時代的核心轉變。
講者所在的Upside公司定位為「代理型GTM時代的數據層」，核心使命是讓行銷和銷售團隊能用AI準確理解業務狀況。這裡的關鍵洞察是：AI民主化了編程能力。過去這些團隊依賴試算表和PowerPoint，現在Claude像自行車之於運輸一樣，讓每個人都能「危險地技術夠用」——不需要是工程師，也能調用AI構建解決方案。
然而這帶來了新問題：信任危機。Claude不會說「我不確定」，而是自信地給出錯誤答案，這比明顯的失敗更危險。演講者的核心論點是：與其追求提示詞的完美咒語，不如像管理人類團隊一樣管理AI代理。具體做法是使用Commander's Intent——告訴AI「為什麼」而非「怎麼做」。例如別說「改進自己」（導致AI自我微管理），而要說「這是我們想達成的目標，你如何理解它」。
演講者用三個實際案例說明：
案例一：網站重做。 前公司需要半年、多個團隊才能完成的工作，使用Claude後需要先搭建結構。核心是維護「錨點資產」——包含產品能力參考表（用AI編譯，帶引用鏈），描述每項功能做什麼、為誰做、證據來源。這樣Claude就有了基礎事實庫，不會瞎編。
案例二：Radiant Librarians。 當使用者問「Q1創建了多少Pipeline」時，代理不直接回答，而是先詢問圖書館員——一個內部系統，包含組織文檔、知識項、過往失敗查詢。圖書館員返回「fiscal year其實是2月-4月、new pipeline意指stage 2以上」等定義，代理據此給出可引用的信任答案。
案例三：Jury and Judge工作流。 對於多觸點歸因（多個接觸點如何分配銷售功勞）這類沒有「單一正確答案」的決策，用陪審團模式：多個獨立分析師各自研究同一ACME交易，提出證據支持的歸因意見。最後Judge不做自己的研究，而是評估每位分析師的推理質量，加權綜合得出最終結論。實踐證明多研究者+最終統籌者，優於單人反覆思考。
最後一個警告是「Agent Tiers」——不要用基礎訂閱模型的產品做重要工作，因為利潤空間不足以支撐強模型運行。至少需Tier 2：強大模型、Plan Mode、完整MCP支持、Sub-agents、文件編輯等能力。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
