KeyFrame內部研究專用

Why Are We Still Governing AI Agents Like Software? - Tim Tyler, Gravitee

AI Engineer英文
觀看原始影片

三句話摘要

AI 代理應該像數位員工一樣進行治理,而非純軟體應用,需要建立身份識別、權限對齐和持續監督的框架。 AI 代理治理的黃金法則是將其視為數位員工而非軟體,給予清晰的身份、角色和責任人,再用機器速度的監督和漸進式紀律措施來維持信任。 AI 代理治理應套用百年來的人資管理經驗,而非單純軟體治理。許多組織目前招聘 AI 代理就像招聘一個不需身份驗證、沒有管理者、只有共享密碼、全天候工作卻無人監督的員工,這樣的做法本質上是危險且不負責任的。

重點整理

  1. AI 代理治理應套用百年來的人資管理經驗,而非單純軟體治理。許多組織目前招聘 AI 代理就像招聘一個不需身份驗證、沒有管理者、只有共享密碼、全天候工作卻無人監督的員工,這樣的做法本質上是危險且不負責任的。

  2. 身份識別是基礎。每個代理需要唯一的 ID 和在中央登記處註冊,這成為所有後續治理的單一真理源。代理需要理解團隊的目標、決策和歷史背景,並將自己的行動回饋給團隊——這才是真正的「隊友」而不是數位複製品。

  3. 代理需要一個具名的贊助人(sponsor),他對代理的行為和成本負責,就像泳池裡的看護者關係——要能眼神接觸地確認「我有這個代理」。這建立了明確的問責鏈。

  4. 角色定義包含目的、責任和預算。要區分「上線時作用域」(部署時設定、很少改變)和「運時任務」(代理在執行時動態定義)。權限應遵循最小權限原則,且下級代理的權限範圍永遠不能超過其上級的權限交集。

  5. 監督需要三層檢查:模型層面、輸入上下文層面和工作產出層面。監督不是單一指標,而是一份評分卡,結合確定性規則(如「從不批准超過 40,000 元的發票」)和概率性意圖判斷(如「發票匹配準確度」)。

  6. Guardian agents 或 AI 網關應在機器速度上進行即時監控,而非等待人工季度評審——那樣已經晚了數千甚至數百萬個決策。紀律措施應漸進式且置信度導向:高置信度可自動修正、中等置信度需人工介入、低置信度直接阻止。

實用技巧與重點

  • Agent Accountability 三階段框架:
  • Assignment(分配):Agent identity(唯一ID)→ Team context(團隊上下文)→ Sponsor(具名負責人)
  • Alignment(對齣):Role(角色定義)→ Scope(範圍)→ Authority(權限)
  • Administration(管理):Oversight(監督評分卡)→ Recourse(紀律措施)→ Guardian agents(監督執行)
  • 監督評分卡二元素:
  • 確定性規則:「從不批准超過 40,000 元發票」「僅寫入帳簿」
  • 概率性意圖:發票匹配準確度、協調週期時間、正確採購單匹配、適當供應商配對
  • 置信度導向的紀律措施:
  • 90% 以上:內容編輯
  • 50-90%:人工介入審核
  • 20-50%:需人工審查
  • 20% 以下:直接阻止
  • 權限繼承規則示例:
  • Sven(人類):訪問 A、B、C、D
  • Agent 203:訪問 C、D
  • Agent 409:訪問 D、E、F
  • 203 委任 409 時,409 只能返回 D 給 Sven(三者交集)
  • Role vs Mission 區別:
  • Role:由 sponsor 定義,上線時設定,很少改變
  • Mission:由代理定義,實時動態,每次調用工具時更新
  • 框架資源:
  • agentacountability.org
  • Gravity AI 官方網站
  • 完整框架包含可審計的控制措施

結論

AI 代理治理的黃金法則是將其視為數位員工而非軟體,給予清晰的身份、角色和責任人,再用機器速度的監督和漸進式紀律措施來維持信任。

完整解析

Tim Tyler 用一個虛構的行銷營運職位開場,揭示了一個令人警惕的現象:該職位無需身份驗證、沒有直屬主管、只有共享密碼、全天候工作但無人監督、出錯不會被開除。當他問現場有誰願意按這個職位要求招聘時,沒有人舉手——但實際上,許多組織已經在用 AI 代理做這種事了。他的核心洞察是,我們目前用對待軟體應用的方式來治理 AI 代理,但這遠遠不夠。我們應該借鑑過去一百年來管理人力的經驗,將 AI 代理視為「數位勞動力」。

Agent Accountability 框架分為三個階段,源自人資管理的驗證做法。在分配階段,代理首先需要一個唯一的身份,就像新員工進公司需要員工證件。這個身份必須註冊在組織的中央系統中,成為單一真理源。其次,代理必須是團隊的一部分,理解團隊目標和脈絡,並將自己的行動回饋給人類和其他代理——這樣才能成為真正的隊友,而不是盲目執行的數位複製品。最後,每個代理需要一個具名的贊助人,對代理負責,定義其目的、預算和成本。Tyler 用池邊監護的比喻解釋這一點:就像他確保孩子池邊總有明確責任人一樣,代理也需要這樣的責任關係。

在對齣階段,代理需要清晰的角色定義和權限邊界。角色包含目的、責任和預算。重要的是要區分「上線時作用域」(部署時一次性設定,很少改變)和「運時任務」(代理在每次執行時動態定義的具體目標)。權限授予應遵循最小權限原則——如果 Sven 可以訪問 A、B、C、D,他的代理 203 可能只需要 C、D,而 203 委任的代理 409 可能需要 D、E、F。當 409 執行任務時,它最多只能將 D 返回給 Sven(三者共同權限的交集),確保權限永遠不會超出授權範圍。

管理階段是執行治理的地方,也是最複雜的部分。監督不是單一指標,而是一份評分卡,結合了確定性規則(「從不批准超過 40,000 元的發票」)和概率性意圖(「發票匹配準確度是否達標」)。Guardian agents 或 AI 網關應在機器速度上進行持續監控,而不是等待季度人工審批——那樣已經晚了數千甚至數百萬個決策。當代理行為偏離時,應採用置信度導向的漸進式紀律措施:如果組織對不當行為的置信度達 90%,可以自動進行內容編輯;50% 到 90% 之間需要人工介入;20% 到 50% 需要人工審查;低於 20% 時直接阻止。此外,對違反確定性規則(如訪問未授權數據)的回應更直接:立即限制權限、多次違反則暫停操作、持續違反則停止該代理。

Tyler 強調這不是「設定並遺忘」的過程。隨著代理反覆成功,應該逐漸放寬限制。贊助人的角色是像教練一樣調整角色定義和權限,以優化代理的表現。最後,他總結了三個關鍵原則:Assignment(命名每個代理)、Alignment(限制每個行動)、Administration(追蹤每個結果)。這就是 Agent Accountability 的精髓。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。