Why Are We Still Governing AI Agents Like Software? - Tim Tyler, Gravitee
三句話摘要
AI 代理應該像數位員工一樣進行治理,而非純軟體應用,需要建立身份識別、權限對齐和持續監督的框架。 AI 代理治理的黃金法則是將其視為數位員工而非軟體,給予清晰的身份、角色和責任人,再用機器速度的監督和漸進式紀律措施來維持信任。 AI 代理治理應套用百年來的人資管理經驗,而非單純軟體治理。許多組織目前招聘 AI 代理就像招聘一個不需身份驗證、沒有管理者、只有共享密碼、全天候工作卻無人監督的員工,這樣的做法本質上是危險且不負責任的。
重點整理
AI 代理治理應套用百年來的人資管理經驗,而非單純軟體治理。許多組織目前招聘 AI 代理就像招聘一個不需身份驗證、沒有管理者、只有共享密碼、全天候工作卻無人監督的員工,這樣的做法本質上是危險且不負責任的。
身份識別是基礎。每個代理需要唯一的 ID 和在中央登記處註冊,這成為所有後續治理的單一真理源。代理需要理解團隊的目標、決策和歷史背景,並將自己的行動回饋給團隊——這才是真正的「隊友」而不是數位複製品。
代理需要一個具名的贊助人(sponsor),他對代理的行為和成本負責,就像泳池裡的看護者關係——要能眼神接觸地確認「我有這個代理」。這建立了明確的問責鏈。
角色定義包含目的、責任和預算。要區分「上線時作用域」(部署時設定、很少改變)和「運時任務」(代理在執行時動態定義)。權限應遵循最小權限原則,且下級代理的權限範圍永遠不能超過其上級的權限交集。
監督需要三層檢查:模型層面、輸入上下文層面和工作產出層面。監督不是單一指標,而是一份評分卡,結合確定性規則(如「從不批准超過 40,000 元的發票」)和概率性意圖判斷(如「發票匹配準確度」)。
Guardian agents 或 AI 網關應在機器速度上進行即時監控,而非等待人工季度評審——那樣已經晚了數千甚至數百萬個決策。紀律措施應漸進式且置信度導向:高置信度可自動修正、中等置信度需人工介入、低置信度直接阻止。
實用技巧與重點
- Agent Accountability 三階段框架:
- Assignment(分配):Agent identity(唯一ID)→ Team context(團隊上下文)→ Sponsor(具名負責人)
- Alignment(對齣):Role(角色定義)→ Scope(範圍)→ Authority(權限)
- Administration(管理):Oversight(監督評分卡)→ Recourse(紀律措施)→ Guardian agents(監督執行)
- 監督評分卡二元素:
- 確定性規則:「從不批准超過 40,000 元發票」「僅寫入帳簿」
- 概率性意圖:發票匹配準確度、協調週期時間、正確採購單匹配、適當供應商配對
- 置信度導向的紀律措施:
- 90% 以上:內容編輯
- 50-90%:人工介入審核
- 20-50%:需人工審查
- 20% 以下:直接阻止
- 權限繼承規則示例:
- Sven(人類):訪問 A、B、C、D
- Agent 203:訪問 C、D
- Agent 409:訪問 D、E、F
- 203 委任 409 時,409 只能返回 D 給 Sven(三者交集)
- Role vs Mission 區別:
- Role:由 sponsor 定義,上線時設定,很少改變
- Mission:由代理定義,實時動態,每次調用工具時更新
- 框架資源:
- agentacountability.org
- Gravity AI 官方網站
- 完整框架包含可審計的控制措施
結論
AI 代理治理的黃金法則是將其視為數位員工而非軟體,給予清晰的身份、角色和責任人,再用機器速度的監督和漸進式紀律措施來維持信任。
完整解析
Tim Tyler 用一個虛構的行銷營運職位開場,揭示了一個令人警惕的現象:該職位無需身份驗證、沒有直屬主管、只有共享密碼、全天候工作但無人監督、出錯不會被開除。當他問現場有誰願意按這個職位要求招聘時,沒有人舉手——但實際上,許多組織已經在用 AI 代理做這種事了。他的核心洞察是,我們目前用對待軟體應用的方式來治理 AI 代理,但這遠遠不夠。我們應該借鑑過去一百年來管理人力的經驗,將 AI 代理視為「數位勞動力」。
Agent Accountability 框架分為三個階段,源自人資管理的驗證做法。在分配階段,代理首先需要一個唯一的身份,就像新員工進公司需要員工證件。這個身份必須註冊在組織的中央系統中,成為單一真理源。其次,代理必須是團隊的一部分,理解團隊目標和脈絡,並將自己的行動回饋給人類和其他代理——這樣才能成為真正的隊友,而不是盲目執行的數位複製品。最後,每個代理需要一個具名的贊助人,對代理負責,定義其目的、預算和成本。Tyler 用池邊監護的比喻解釋這一點:就像他確保孩子池邊總有明確責任人一樣,代理也需要這樣的責任關係。
在對齣階段,代理需要清晰的角色定義和權限邊界。角色包含目的、責任和預算。重要的是要區分「上線時作用域」(部署時一次性設定,很少改變)和「運時任務」(代理在每次執行時動態定義的具體目標)。權限授予應遵循最小權限原則——如果 Sven 可以訪問 A、B、C、D,他的代理 203 可能只需要 C、D,而 203 委任的代理 409 可能需要 D、E、F。當 409 執行任務時,它最多只能將 D 返回給 Sven(三者共同權限的交集),確保權限永遠不會超出授權範圍。
管理階段是執行治理的地方,也是最複雜的部分。監督不是單一指標,而是一份評分卡,結合了確定性規則(「從不批准超過 40,000 元的發票」)和概率性意圖(「發票匹配準確度是否達標」)。Guardian agents 或 AI 網關應在機器速度上進行持續監控,而不是等待季度人工審批——那樣已經晚了數千甚至數百萬個決策。當代理行為偏離時,應採用置信度導向的漸進式紀律措施:如果組織對不當行為的置信度達 90%,可以自動進行內容編輯;50% 到 90% 之間需要人工介入;20% 到 50% 需要人工審查;低於 20% 時直接阻止。此外,對違反確定性規則(如訪問未授權數據)的回應更直接:立即限制權限、多次違反則暫停操作、持續違反則停止該代理。
Tyler 強調這不是「設定並遺忘」的過程。隨著代理反覆成功,應該逐漸放寬限制。贊助人的角色是像教練一樣調整角色定義和權限,以優化代理的表現。最後,他總結了三個關鍵原則:Assignment(命名每個代理)、Alignment(限制每個行動)、Administration(追蹤每個結果)。這就是 Agent Accountability 的精髓。


