KeyFrame內部研究專用

Why AI Makes You 100x Faster but Not Your Company - Mitchell Troyanovsky, Basis

AI Engineer英文
觀看原始影片

三句話摘要

如何設計可靠的 AI 代理人在企業中執行工業工作,透過建立行為規範和流程控制讓代理人像值得信任的同事一樣工作。 企業級代理人成功的祕訣是把它們當作可靠同事來設計——建立明確行為規範、多層測試驗證、形成信任閉環,讓它們既簡單易用又行為一致可控。 兩個關鍵差距問題:當前代理產品面臨能力差距和流程差距。能力差距指用戶難以理解複雜代理的技能邊界;流程差距指若讓每個員工自行配置代理,會失去組織規模擴展的基礎——流程必須由高層統一指導,而非員工自決。

重點整理

  1. 兩個關鍵差距問題:當前代理產品面臨能力差距和流程差距。能力差距指用戶難以理解複雜代理的技能邊界;流程差距指若讓每個員工自行配置代理,會失去組織規模擴展的基礎——流程必須由高層統一指導,而非員工自決。

  2. 行為規範的核心價值:代理人行為不是單純的文字提示決定,而是多因素綜合:系統提示、資訊呈現順序、工具說明、訓練數據。需要形成明確的「觀點」——基於經驗的行為指導原則——作為產品規格,強調最重要原則而避免過度細節化。

  3. 多層測試機制確保可靠性:透過分支在軌跡中隔離異常行為並進行局部調整;用模擬讓子代理人完整複現員工代理人的情境,低成本快速驗證想法。這些工具產生額外信號,幫助判斷代理人是否能概括到新情況。

  4. 信任建立的雙維度評估:像評估同事一樣評估代理人——考慮決策的影響半徑和對該主體的信任度。可靠的代理人應逐步獲得更多自主權,建立組織內的信任閉環。

實用技巧與重點

  • 核心工具與方法
  • 行為規範(Behavioral Norm):描述上下文、目標、執行原則,作為評估標準
  • 分叉(Forking):在軌跡特定時刻複製代理人並進行調整測試
  • 模擬(Simulation):創建子代理人完全還原目標代理人的細節和行為
  • 代理人行為決定因素
  • 系統提示內容
  • 資訊呈現順序(Information Leak)
  • 工具說明完整性
  • 模型訓練方式
  • 實際應用案例
  • 會計事務所月度結帳流程中的現金核對步驟
  • PDF 提取的多種方法:VLM 上傳、Python OCR 庫、多 VLM 對比、100 個 VLM 投票
  • 品質控制:代理人先讀原始內容再審查時更準確
  • PowerPoint 製作:先截圖儲存能減少格式問題
  • 評估維度
  • 決策的損傷半徑(Blast Radius)
  • 對代理人的信任度

結論

企業級代理人成功的祕訣是把它們當作可靠同事來設計——建立明確行為規範、多層測試驗證、形成信任閉環,讓它們既簡單易用又行為一致可控。

完整解析

米奇開場指出一個根本矛盾:個人透過 Copilot 等工具生產力提升 10 至 100 倍,但企業平均生產力卻未見此等成長。他認為症結在於人們已習慣與非確定性系統(他人)打交道,而非與電腦系統。傳統組織規模擴展的祕訣是流程規範——經理並不了解基層員工的日常工作細節,但他們相信結果會達成,因為存在既定的、被信任的流程。即使執行者本身不完美,只要按流程進行,通常能得到好結果。

但當前代理產品面臨兩個結構性問題。第一是能力差距:用戶需要理解代理人的複雜度、何時使用、工作邏輯等,但大多數知識型員工無法勝任此任務。第二是流程差距:如果允許每個用戶按自己意願配置代理人的行為,組織就喪失了規模擴展的基礎——流程必須由高層制定向下貫徹,而非由每個員工自行決定。解決方案是培育高效代理人,從頭到尾認真完成工作。對用戶而言應該簡單如同交託同事;對組織而言應該按統一流程進行。

可靠性是關鍵,但不追求完美。例如在會計中,當銀行帳戶出現差異時,代理人應該始終透過記錄和解釋來協調餘額,而不是隨意創建「存根」。這是一個主觀判斷,但必須一致性地執行。代理人的行為實際上由多層因素決定:系統提示、資訊洩露順序、工具說明、訓練方式等。米奇建議把代理人執行中看到的每個上下文視為即時訓練數據。為實現行為的可靠性和一致性,需要形成明確的「觀點」——基於經驗直覺而非第一原理的行為指導原則。

為了驗證代理人的觀點是否有效,米奇介紹了多個工具。行為規範提供了一種描述框架,強調最重要的原則而避免過度細節。分支工具允許開發者在軌跡中隔離出代理人行為不符預期的時刻,然後在該時刻進行調整和測試。模擬工具請代理人創建一個子代理人完整複現員工代理人的行為,包括所有細節,然後可用編劇本測試它是否能重現生產環境中觀察到的情況。這些工具成本低、速度快,產生的信號幫助判斷代理人的行為是否能概括到新情況。

最後,米奇強調代理人應像新進同事一樣逐步建立信任。評估任何人(包括代理人)時,應考慮兩個維度:決策的影響半徑和對該主體的信任度。對於可靠同事做的小改動,審查時間可少一些;對於能力未知的人做的大改動,需仔細檢查。這個原則適用於所有人與人、人與代理人的合作。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。