Why AI Makes You 100x Faster but Not Your Company - Mitchell Troyanovsky, Basis
三句話摘要
如何設計可靠的 AI 代理人在企業中執行工業工作,透過建立行為規範和流程控制讓代理人像值得信任的同事一樣工作。 企業級代理人成功的祕訣是把它們當作可靠同事來設計——建立明確行為規範、多層測試驗證、形成信任閉環,讓它們既簡單易用又行為一致可控。 兩個關鍵差距問題:當前代理產品面臨能力差距和流程差距。能力差距指用戶難以理解複雜代理的技能邊界;流程差距指若讓每個員工自行配置代理,會失去組織規模擴展的基礎——流程必須由高層統一指導,而非員工自決。
重點整理
兩個關鍵差距問題:當前代理產品面臨能力差距和流程差距。能力差距指用戶難以理解複雜代理的技能邊界;流程差距指若讓每個員工自行配置代理,會失去組織規模擴展的基礎——流程必須由高層統一指導,而非員工自決。
行為規範的核心價值:代理人行為不是單純的文字提示決定,而是多因素綜合:系統提示、資訊呈現順序、工具說明、訓練數據。需要形成明確的「觀點」——基於經驗的行為指導原則——作為產品規格,強調最重要原則而避免過度細節化。
多層測試機制確保可靠性:透過分支在軌跡中隔離異常行為並進行局部調整;用模擬讓子代理人完整複現員工代理人的情境,低成本快速驗證想法。這些工具產生額外信號,幫助判斷代理人是否能概括到新情況。
信任建立的雙維度評估:像評估同事一樣評估代理人——考慮決策的影響半徑和對該主體的信任度。可靠的代理人應逐步獲得更多自主權,建立組織內的信任閉環。
實用技巧與重點
- 核心工具與方法
- 行為規範(Behavioral Norm):描述上下文、目標、執行原則,作為評估標準
- 分叉(Forking):在軌跡特定時刻複製代理人並進行調整測試
- 模擬(Simulation):創建子代理人完全還原目標代理人的細節和行為
- 代理人行為決定因素
- 系統提示內容
- 資訊呈現順序(Information Leak)
- 工具說明完整性
- 模型訓練方式
- 實際應用案例
- 會計事務所月度結帳流程中的現金核對步驟
- PDF 提取的多種方法:VLM 上傳、Python OCR 庫、多 VLM 對比、100 個 VLM 投票
- 品質控制:代理人先讀原始內容再審查時更準確
- PowerPoint 製作:先截圖儲存能減少格式問題
- 評估維度
- 決策的損傷半徑(Blast Radius)
- 對代理人的信任度
結論
企業級代理人成功的祕訣是把它們當作可靠同事來設計——建立明確行為規範、多層測試驗證、形成信任閉環,讓它們既簡單易用又行為一致可控。
完整解析
米奇開場指出一個根本矛盾:個人透過 Copilot 等工具生產力提升 10 至 100 倍,但企業平均生產力卻未見此等成長。他認為症結在於人們已習慣與非確定性系統(他人)打交道,而非與電腦系統。傳統組織規模擴展的祕訣是流程規範——經理並不了解基層員工的日常工作細節,但他們相信結果會達成,因為存在既定的、被信任的流程。即使執行者本身不完美,只要按流程進行,通常能得到好結果。
但當前代理產品面臨兩個結構性問題。第一是能力差距:用戶需要理解代理人的複雜度、何時使用、工作邏輯等,但大多數知識型員工無法勝任此任務。第二是流程差距:如果允許每個用戶按自己意願配置代理人的行為,組織就喪失了規模擴展的基礎——流程必須由高層制定向下貫徹,而非由每個員工自行決定。解決方案是培育高效代理人,從頭到尾認真完成工作。對用戶而言應該簡單如同交託同事;對組織而言應該按統一流程進行。
可靠性是關鍵,但不追求完美。例如在會計中,當銀行帳戶出現差異時,代理人應該始終透過記錄和解釋來協調餘額,而不是隨意創建「存根」。這是一個主觀判斷,但必須一致性地執行。代理人的行為實際上由多層因素決定:系統提示、資訊洩露順序、工具說明、訓練方式等。米奇建議把代理人執行中看到的每個上下文視為即時訓練數據。為實現行為的可靠性和一致性,需要形成明確的「觀點」——基於經驗直覺而非第一原理的行為指導原則。
為了驗證代理人的觀點是否有效,米奇介紹了多個工具。行為規範提供了一種描述框架,強調最重要的原則而避免過度細節。分支工具允許開發者在軌跡中隔離出代理人行為不符預期的時刻,然後在該時刻進行調整和測試。模擬工具請代理人創建一個子代理人完整複現員工代理人的行為,包括所有細節,然後可用編劇本測試它是否能重現生產環境中觀察到的情況。這些工具成本低、速度快,產生的信號幫助判斷代理人的行為是否能概括到新情況。
最後,米奇強調代理人應像新進同事一樣逐步建立信任。評估任何人(包括代理人)時,應考慮兩個維度:決策的影響半徑和對該主體的信任度。對於可靠同事做的小改動,審查時間可少一些;對於能力未知的人做的大改動,需仔細檢查。這個原則適用於所有人與人、人與代理人的合作。


