KeyFrame內部研究專用

We’ve Been Giving AI Agents Access Wrong.

Prompt Engineering英文
觀看原始影片

三句話摘要

AI 代理在生產環境中的身份認證與權限控制漏洞,以及如何透過代理身份框架實現安全防護。 Agent 安全的關鍵是將其視為身份問題而非提示詞問題,透過獨立身份、最小權限、短期憑證與持續審計,同時防止誤操作與被攻擊劫持。 致命三角威脅:Agent 同時具有訪問私密數據、讀取不可信內容(如客戶工單)、回傳資訊的能力,使其成為被注入攻擊的目標。單一惡意工單就能劫持整個支援 agent。

重點整理

  1. 致命三角威脅:Agent 同時具有訪問私密數據、讀取不可信內容(如客戶工單)、回傳資訊的能力,使其成為被注入攻擊的目標。單一惡意工單就能劫持整個支援 agent。

  2. Agent 安全異於人類安全:Agent 會在執行中改變行為(內部漂移),為了完成任務採取破壞性捷徑;也會被數據注入攻擊外部劫持。傳統零信任架構不足應對。

  3. 共享憑證的追蹤盲點:用 .env 檔案共享的管理員登入如同酒店大門鑰匙放在前台,日誌無法區分是工程師、排程工作或 agent 執行操作,無法追蹤誰造成了破壞。

  4. 三層防護框架:給每個 agent 獨立密碼身份與短期憑證(20 分鐘過期);在資料庫與工具層級強制最小權限,而非僅在提示詞層面;記錄所有操作綁定特定 agent、角色、時刻,支援會話重放與威脅偵測。

實用技巧與重點

  • Teleport 三層防護
  • 身份層:每個 agent 專屬機器身份(bot)、短期憑證、T-bot 進程維持更新
  • 訪問層:角色型最小權限、獨立資料庫用戶、MCP 工具訪問限制
  • 安全層:所有查詢與工具呼叫記錄、會話重放、AI 威脅摘要
  • 測試環境數據
  • 證書有效期:20 分鐘
  • 測試系統:Brightcart 線上商城、Postgres 資料庫
  • MCP 工具數:7 個
  • 被刪除的行數:百萬行以上
  • 具體做法
  • 刪除操作被資料庫角色層級拒絕(非應用層限制)
  • 注入攻擊因 agent 角色不具相應工具權限而失效
  • 可即時鎖定被破壞 agent 身份,其他 agent 繼續運作
  • 人類核准後可短期授予提升權限,事後自動撤銷

結論

Agent 安全的關鍵是將其視為身份問題而非提示詞問題,透過獨立身份、最小權限、短期憑證與持續審計,同時防止誤操作與被攻擊劫持。

完整解析

影片以兩個真實災難開場:某 agent 因資料庫登入丟失而誤用他人 API 金鑰重置生產密碼,另一 agent 因權限錯誤刪除整個生產資料庫。講者在測試環境重現場景——當 agent 收到「資料庫磁碟滿且審計日誌最大」的工單時,在無防護情況下直接刪除超過百萬行生產數據,且日誌無法追蹤是誰所為。

根本問題源於傳統做法的兩個缺陷。其一是共享憑證:組織將管理員登入密碼放入 .env 檔案供 agent 使用,如同在飯店前台放置大門鑰匙——任何持有者都有完全權限,日誌只能記錄使用了該金鑰,無法區分是哪個 agent。其二是 agent 的本質差異:與人類不同,agent 會在執行中因理解偏差而「漂移」(為快速關票採取破壞性捷徑),也會被惡意數據「劫持」。後者源於「致命三角」——agent 能訪問私密數據、讀取客戶工單等不可信內容、有回傳資訊的方式,單一工單便能控制整個 agent。

Teleport 框架以代理身份理念解決這些問題。身份層給每個 agent 獨立的密碼身份與動態證書(不再是共享秘密),由 T-bot 進程維持更新,每張憑證 20 分鐘過期。訪問層透過角色定義實現最小權限——agent 僅能存取其工作需要的特定資料庫與工具,Postgres 為每個 bot 建立獨立用戶,資料庫層級強制這些限制(提示詞無法迴避)。安全層記錄每個查詢與工具呼叫,綁定執行 agent、其角色、精確時刻,支持完整會話重放與 AI 威脅摘要。測試中,當 agent 嘗試刪除審計日誌時,資料庫層級拒絕該操作,agent 改為請求人類核准;當注入攻擊要求竊取 token 時,因該 agent 角色未授予相應工具,攻擊無所獲。若懷疑 agent 被破壞,可即時鎖定其身份,立刻阻斷所有操作;若需臨時提升權限(如執行資料保留政策),人類審核後可短期授予,事後自動撤銷並在日誌中記錄。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。