KeyFrame內部研究專用

Tethered: Our Agents Are Us — Shu Fang, Two Sigma

AI Engineer英文
觀看原始影片

三句話摘要

企業如何在安全控制下讓 AI 代理以真實使用者身份在雲端運行。 --- 企業無須在代理能力與安全之間二選一,透過追蹤和網路隔離可同時獲得兩者,關鍵是善用已有的基礎設施。 身份策略的演進:傳統機器身份方案(如 shoe agent)導致權限同步困難、軟體授權翻倍、系統相容性問題(Google Workspace 不支援多身份同資料操作),直接讓代理以真實使用者身份運行反而解決所有問題。

重點整理

  1. 身份策略的演進:傳統機器身份方案(如 shoe agent)導致權限同步困難、軟體授權翻倍、系統相容性問題(Google Workspace 不支援多身份同資料操作),直接讓代理以真實使用者身份運行反而解決所有問題。

  2. 身份追蹤的實現:透過在 HTTP header 中附加追蹤 ID(類似分散式系統的 trace ID),在 HTTP 客戶端、MCP、Skills 等地強制初始化與傳播,確保整個操作鏈路可追蹤;不是只知道誰啟動流程,而是看到每一步操作的完整溯源。

  3. 網路安全的隔離:禁用原生 Web Search 和 Web Fetch 工具,強制所有網路存取透過 Google Web Grounding for Enterprise(Google 的企業版搜尋索引服務)。該服務在企業 VPC 內部運行,移除所有外向流量風險,雖然資料新鮮度有延遲(6~24 小時)但對代理用途足夠。

  4. 企業資源的槓桿作用:大多數企業已有 Kubernetes 叢集和使用者命名空間基礎設施,原本用於自動化任務(代碼容器、研究筆記本),將其用於代理後無需額外投資就能同時獲得可見性與控制力。

  5. --

實用技巧與重點

  • 公司背景
  • Two Sigma:25 年歷史的對沖基金
  • 名稱由來:小西格瑪(小波動率)+ 大西格瑪(大波動率)= 總波動率
  • 技術架構
  • 基礎設施:Kubernetes 叢集,每個使用者有自己的命名空間
  • 身份服務:邊車(sidecar)從身份服務拉取憑證,容器掛載該身份運行
  • 現有用途:自動化工作、代碼容器、研究筆記本(所以命名空間基礎已存在)
  • 追蹤方案
  • Header 名稱:XSLm agent
  • 機制:每個代理呼叫都在 header 中附加追蹤 ID,類似分散式系統的 trace ID 傳播
  • 強制點:HTTP 客戶端、MCP、Skills 地點皆強制初始化
  • 優勢:提供完整操作鏈路可見性,不是只知道啟動點
  • 網路隔離方案
  • 服務名稱:Google Web Grounding for Enterprise
  • 支援功能:搜尋(Search)、取得(Fetch)
  • 部署位置:企業 VPC 內部(無外向網路流量)
  • 資料新鮮度:定期更新網站 6 小時內;其他網站 24 小時內
  • 專為行業:金融等監管行業設計(包含額外安全審查)
  • 禁用工具:Web Search、Web Fetch(原生工具),所有網路存取必須透過 Web Grounding
  • 代理部署
  • 個人級:員工可在自己命名空間建置部署代理,無基礎設施擔憂
  • 公司級:需通過標準生產支援與安全審查流程
  • --

結論

企業無須在代理能力與安全之間二選一,透過追蹤和網路隔離可同時獲得兩者,關鍵是善用已有的基礎設施。

完整解析

Two Sigma 是一家 25 年歷史的對沖基金。長期以來,公司在 Kubernetes 叢集中為每位員工配置了專屬命名空間,用於執行自動化任務、研究筆記本和代碼容器,讓所有運作都以使用者身份進行。當 Claude 推出雲端代理功能後,公司面臨一個新挑戰:代理應該以什麼身份運行?

傳統方案是使用機器身份。但這很快暴露出問題。機器身份無法與人類身份同步權限,每個代理都需要獨立的軟體授權,某些系統(如 Google Workspace)根本不支援多身份同時操作同一資料,系統也會以身份為界設置存取屏障。經過評估,最直接的解決方案是讓代理以真實使用者身份運行——這樣所有權限、功能、存取控制就自動解決了。

但這帶來兩個重大風險。第一個是「身份混淆」。當人與代理都用同一身份時,無法分辨某個操作是人做的還是代理做的。這對審計、合規和風險控制至關重要。為解決這個問題,公司借鑒分散式系統的追蹤概念,在每個代理操作中附加一個追蹤 ID header(XSLm agent)。透過在 HTTP 客戶端、MCP、Skills 等地強制初始化和傳播這個 header,整個操作鏈路都被標記。最終不僅知道是誰(身份),還知道代理做了什麼、做的順序、如何影響後續操作——提供了完整的操作溯源。

第二個風險更嚴峻:代理需要網際網路存取以獲取最新資訊(LLM 的訓練資料是靜態的),但開放的外向網路存取會導致資料外洩、提示詞注入、惡意軟體等威脅。公司的解決方案是採用 Google Web Grounding for Enterprise——一項專為金融等監管行業設計的服務。它在企業 VPC 內部提供搜尋和資料取得功能,完全沒有外向流量,Google 已為金融行業做了內容審查。雖然資料新鮮度有延遲(常規網站 6 小時,其他 24 小時),但對代理的大多數用途已足夠。

為確保代理真的使用 Web Grounding,公司禁用了原生的 Web Search 和 Web Fetch 工具,強制所有網路存取透過 MCP、CLI 或 Skills 導向該服務。這在安全性和用戶體驗間取得平衡。

結果是公司成功以真實使用者身份運行雲端代理,獲得代理的強大能力同時大幅降低風險。從金融的「夏普比例」(風險調整後收益)角度,公司不僅沒有損失預期收益,反而透過追蹤和隔離措施大幅減少了風險。講者強調,許多企業面對 GenAI 時過於保守,但企業能善用自身基礎設施(Kubernetes、命名空間、身份服務)來控制風險並獲得真實價值,這應該是投資重點。

---

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI