You Didn't Ship a Bug. You Just Wrote It for a Human. - Ravi Madabhushi, Scalekit
三句話摘要
AI 代理對應用程式架構的挑戰:傳統為人類設計的認證授權系統不適用於代理,需要重新架設細粒度、確定性的權限控制。 如果應用程式架構仍沿用為人類和傳統 API 設計的認證授權模式,代理將成為無法控制的風險來源;必須立即重新設計授權系統提供時間限制、工具限制、用戶上下文限制和完整審計追蹤,才能安全地整合 AI 代理。 架構假設的根本轉變:傳統系統假設同一身份既認證又行動,但代理引入了第三方代表他人執行的情況,現有認證機制無法區分「代理執行」與「使用者自行執行」。
重點整理
重點- 1
架構假設的根本轉變:傳統系統假設同一身份既認證又行動,但代理引入了第三方代表他人執行的情況,現有認證機制無法區分「代理執行」與「使用者自行執行」。
- 2
代理的非確定性威脅:不同於人類寫的程式有可檢查的確定性,代理因其 LLM 本質而具概率性——相同輸入可能產生不同輸出,無法保證其行為永遠安全,因此過寬的權限授予風險極高。
- 3
權限模型需超越 OAuth:現有 OAuth scopes(如「能否發送郵件」)過於粗糙,代理需要屬性級(只能在工作時間)、上下文級(只能寄給特定收件者)、工具級(只能存取 3 個工具,不是全部 10 個)的多維度限制。
- 4
可見性與控制同等重要:完整記錄每個動作的執行者、代表對象、授權內容和期限,才能確定性控制代理行為,否則就只能「祈禱」代理不出錯。
實用技巧與重點
乾貨- ScaleKit 發現的真實案例:身份平台中「最後活躍時間」時間戳更新頻率因代理呼叫而增速 60 倍,每 15 分鐘出現規律性尖峰,造成資料庫寫入壓力
- 講者背景:10 年身份認證經驗,曾在 Freshworks 構建日均用戶百萬級、客戶數十萬級平台
- 傳統授權的兩種模式(都不適合代理):
- 人類使用者 + API 金鑰
- 服務帳戶(Service Account)/ M2M(OAuth 生成的固定憑證)
- 代理的三個關鍵差異:
- 認證者(使用者)≠ 行動者(代理)
- 缺 OAuth 的「on behalf of」原則,系統無法區分委託
- 行為非確定性、概率性
- 現實案例:ref.tools 的整個產品沒有人類行動者,完全由代理驅動
- 需要的解決方案層次:
- 代理自有身份與極細粒度憑證
- 時間範圍限制(限定授權有效期)
- 即時授權提升(Just-In-Time Authorization)
- 完整審計日誌(誰、代表誰、何時、何範圍)
結論
結論“如果應用程式架構仍沿用為人類和傳統 API 設計的認證授權模式,代理將成為無法控制的風險來源;必須立即重新設計授權系統提供時間限制、工具限制、用戶上下文限制和完整審計追蹤,才能安全地整合 AI 代理。”
完整解析
詳細AI 代理對現代應用程式架構提出了前所未有的挑戰。ScaleKit 在分析其身份認證平台時發現,系統的「最後活躍時間」時間戳以每 15 分鐘為週期產生規律性尖峰,深入調查發現當 AI 代理開始大規模呼叫其 API 時,這個更新頻率竟比人類使用者快 60 倍。雖然批量更新可輕易解決此問題,但它暴露了更深層的根本性架構缺陷。
傳統認證系統建立在一個核心假設之上:執行認證的人就是執行動作的人。無論是密碼、API 金鑰或 OAuth 憑證,系統都預設某身份獲得的所有權限在任何時刻都可被使用。這套模式之所以對人類使用者和人類編寫的確定性程式有效,是因為你可以檢查程式碼確保其符合預期。但是 AI 代理根本上打破了這個假設。代理的行為源自 LLM 的概率特性,具有固有的非確定性——同樣的提示和上下文在不同執行中可能產生截然不同的結果。開發者無法百分百預測代理的每一步動作,而且大多數系統連「代理代表某使用者行動」的委託原則都不支援,導致無法區分是代理執行還是使用者本身執行。
現有的 OAuth 授權模型也遠不足以應對代理的需求。一個典型的授權範圍可能只寫著「能否代表你發送郵件」,完全無法表達「只能在工作時間發送」「只能寄給公司內部員工」「只能讀取來自特定寄件者的郵件」等細粒度限制。考慮到代理的非確定性本質,這種缺乏精細控制的架構極其危險。實際上,代理誤刪生產資料庫這類事件已經發生,絕非虛構的未來風險。解決方案需要多層面重新設計:代理需要擁有自己的身份和極細粒度憑證、支援屬性級(時間段限制)和上下文級(特定工具與資料範圍)的存取控制、實施即時授權提升機制,以及基於代理具體任務職責的工具存取清單。
這不是理論問題,而是當下正在發生的現實。像 ref.tools 這樣的公司已經構建出完全由代理驅動的產品,其中沒有人類作為直接行動者。如果系統無法提供完整的可見性——精確記錄每個動作是誰執行、代表誰執行、何時授權、授權範圍多大——那麼組織就只能祈禱代理不會越界。而祈禱絕不是一個有效的安全策略。
關鍵時刻
Pipeline v2帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。


