KeyFrame內部研究專用

Secure your Agent Harness with Code Sandboxing

MasterDotDev25 min英文
觀看原始影片

三句話摘要

設計 AI 代理程式在隔離沙箱中安全地撰寫和執行程式碼,以加速複雜任務的完成。 讓 AI 代理撰寫和執行沙箱隔離的程式碼,能大幅減少工具呼叫次數、加速任務完成、且避免推理時的算術錯誤。 工具呼叫 vs. 程式碼執行的效率差異:連續使用 12 個不同工具需要 12 個回合、12 次令牌消耗,代理改為撰寫一段程式碼將這些工具串聯,能同時獲得所有答案,減少等待時間和令牌使用。

重點整理

  1. 工具呼叫 vs. 程式碼執行的效率差異:連續使用 12 個不同工具需要 12 個回合、12 次令牌消耗,代理改為撰寫一段程式碼將這些工具串聯,能同時獲得所有答案,減少等待時間和令牌使用。

  2. 代理程式碼執行的安全隔離:不能直接在生產環境執行代理生成的程式碼,必須建立隔離的沙箱環境(如 Node VM)來防止程式碼逃逸或對系統造成傷害,確保在生產環境前的離線測試也要遵守此原則。

  3. 發揮語言模型的最佳能力:語言模型在程式碼撰寫上表現優異,但在算術和數字推理上容易產生幻覺。透過讓代理撰寫確定性程式碼(而非純推理)來完成計算工作,能同時利用其強項並避免弱點。

  4. 沙箱 API 設計:定義代理在沙箱中能存取的函數清單(如 `getCharges`、`searchKnowledgeBase`),透過白名單機制控制代理的權限,確保其只能呼叫預先批准的操作。

實用技巧與重點

  • 技術架構:
  • 使用 Node VM 的 `VM.createContext()` 建立隔離環境
  • 超時預設值:2000 毫秒
  • 使用 Promise.race() 實現超時機制
  • 以 IIFE(立即呼叫函式運算式)搭配 async 包裝用戶程式碼
  • 沙箱 API 函數:
  • `getCharges(customerId: string)`:查詢客戶費用記錄
  • `searchKnowledgeBase(query: string)`:搜尋知識庫
  • `console.log()`:輸出日誌用於除錯
  • 工具設計:
  • 工具名稱:`run_code`
  • 輸入:JavaScript 程式碼(字串)
  • 輸出:`{ok: boolean, result?: any, error?: string, logs: string[]}`
  • 允許的操作:await 工具呼叫、console.log、return 任何 JSON 值
  • 具體案例:
  • 任務:找出重複費用並計算應退款金額
  • 代理生成的程式碼:呼叫 `getCharges()`、搜尋退款政策、執行數學運算
  • 發現結果:客戶被重複收費兩次各 $49,應退款 $49

結論

讓 AI 代理撰寫和執行沙箱隔離的程式碼,能大幅減少工具呼叫次數、加速任務完成、且避免推理時的算術錯誤。

完整解析

當我們設計 AI 代理系統時,常面臨一個核心挑戰:代理在需要執行危險操作(如執行 bash 命令、SQL 查詢或複雜算術)時,該如何安全地處理?傳統做法是提供一系列工具,讓代理逐一呼叫;但這種方法存在兩個問題:每次工具呼叫都需要等待回應,導致多個往返延遲;且語言模型在純推理算術時容易產生幻覺。

講者提出的解決方案是「程式碼模式」(Code Mode):與其讓代理連續呼叫 12 個工具,不如讓它撰寫一段 JavaScript 程式碼,在該程式碼中使用這些工具並進行計算,然後一次性執行並返回結果。這個方法的優勢在於,它同時利用了語言模型的兩項能力——編寫程式碼的能力(非常強)和程式碼執行的決定性(完全準確)。

實作上,使用 Node VM 函式庫在隔離沙箱中執行程式碼。首先透過 `VM.createContext()` 建立一個受限的執行環境,定義該環境可以存取的 API(如 `getCharges` 和 `searchKnowledgeBase`),並設置安全防護如超時機制(預設 2 秒)和日誌記錄。代理生成的程式碼被包裝在一個 async IIFE(立即呼叫的非同步函式)中,讓代理能使用 top-level await,無須顯式定義外層函式。

一個具體例子是退款處理流程:使用者要求代理「找出重複收費並計算退款金額」。代理不是呼叫「搜尋所有費用」工具、再呼叫「查詢退款政策」工具、最後嘗試自己做數學,而是直接撰寫程式碼呼叫 `getCharges()` 取得費用清單、呼叫 `searchKnowledgeBase()` 查詢退款政策、再用程式碼邏輯檢測重複項(同一客戶、同一天、同一金額)並計算答案。結果是:一次程式碼執行取代了多次工具往返,速度更快且完全準確——發現客戶被收費兩次各 $49,應退款 $49。

這個方法被譽為「前沿技術」,因為大多數生產系統尚未廣泛採用,但採用者通常是專門從事 AI 系統開發的專業團隊。關鍵是要認識到語言模型在寫程式碼上遠優於在計算上的表現,因此應當充分發揮這項優勢。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。