KeyFrame內部研究專用

Wearing the Agent: From Group Chats to Glasses — Sai Krishna Rallabandi

AI Engineer19 min英文
觀看原始影片

三句話摘要

從單一使用者代理向群體智慧體系統轉變時,如何設計安全、記憶和隱私機制。 群體智慧體的設計需在安全、記憶、隱私三個層面進行創新:在行動層防護多源攻擊、用不斷進化的相關性評分器管理記憶、透過使用者級介面卡實現隱私隔離。

重點整理

  1. 攻擊面擴大的必然性:智慧體不僅作用於LLM,還作用於實際系統(讀取網頁、郵件、GitHub、群組訊息、截圖等),群體環境中多個入口點讓攻擊成本接近零,約90%的攻擊來自兩個看似無害的技能組合執行時才暴露的漏洞。

  2. 安全防護的三層分類方案:採用確定性防護機制(用正規表示式和NLP快速標記操作),分三類處理:良性可直接允許、需要人工批准、禁止操作;進一步透過訓練有監督微調模型(LoRA)預測資料通道中的惡意內容,分離指令通道與資料通道。

  3. 記憶不是簡單儲存,而是即時演化:從對話中提取高價值原子事實、建立資訊層次關係、考慮時間因素,訓練相關性評分器不斷適應群體情境變化(同一資訊在不同階段重要性不同),根據當前查詢智慧檢索而非全量爬取,意識到KV快取的限制。

  4. 隱私是上下文定義的:購物清單和工資資訊本質相同但隱私等級完全不同,取決於部署環境。透過在共享基礎模型上為每個使用者訓練獨立的LoRA介面卡實現許可權內建,同時訓練模型判斷代理的發言時機(避免不被詢問時過度主動)。

實用技巧與重點

  • 群體智慧體的三個關鍵設計維度:守衛與記憶安全層、資訊路由到終端使用者
  • 基準資料集上簡單方法僅達50%準確率
  • 特殊攻擊向量:攻擊者在文字中穿插符號(如 L.i.K 形式),基於正規表示式方法無法檢測,學習模型可捕獲
  • 安全防護不應在輸入層(會控制一切),應在行動層(實際執行任務時)
  • 記憶設計的五個要素:儲存什麼、如何自動提取、遺忘什麼、檢索機制、快取感知
  • 原子事實提取關鍵問題:是否提取高價值資訊、資訊間是否存在層次、是否存在時間因素、檢索是否智慧
  • 相關性評分器必須"不斷"評分,因為群體情境持續變化
  • 參考論文:《User as Memory Traces》
  • 代理發言判斷可用簡單分類器實現(如Robata分類器)

結論

群體智慧體的設計需在安全、記憶、隱私三個層面進行創新:在行動層防護多源攻擊、用不斷進化的相關性評分器管理記憶、透過使用者級介面卡實現隱私隔離。

完整解析

賽·克里希納在這場演講中指出,整個AI技術社群都在討論智慧體系統,並稱"我們已經贏了——我們能構建智慧體"。智慧體的核心很簡單:它是系統模型(大腦)與編排方式和工具集的組合,使其能執行操作。然而,他提出了一個關鍵觀察:今天幾乎所有部署的代理都服務於單一客戶,即使是企業級程式設計助手也是如此。下一代代理將面向群體——像眼鏡一樣不可或缺、全天佩戴的系統。這一轉變帶來了截然不同的挑戰。

講者分享了8個月在朋友家族群體環境中的實驗案例。代理因隱私考量用私信而非群組回覆位置資訊;在幫助協調家庭活動時,代理能理解睡眠不足導致的決策困難;眼鏡代理甚至在講者開車時避免使用車載廣播而選擇直接通話以保護隱私。群體環境中的對話持續演進,代理需智慧篩選相關記憶;講者3歲女兒使用的學習代理能及時報告學習進度並防止遺忘。這些例子說明群體部署需要全新的維度設計。

演講的核心是三方面機制。安全層面臨的挑戰遠超LLM:LLM產生幻覺時可檢查輸出,但代理系統不僅操作LLM還操作實際物件(網頁、郵件、GitHub、群組訊息、截圖),攻擊面極其廣闊。一篇重要研究發現,約90%的攻擊來自兩個表面無害的技能在執行時組合時暴露的漏洞——OCR模組提取資訊,報表模組將其傳送給第三方。防護不應在輸入層(那會堵塞一切),而應在行動層(執行前過濾)。講者提出三層方案:簡單的確定性防護(用正規表示式標記bash變數、金鑰等)、人工審批的操作、禁止列表。進一步最佳化是訓練有監督微調的LoRA模型,預測資料流中的惡意內容,分離指令和資料通道,當指令是"總結這個頁面"時,即使網頁含提示注入,模型也只返回摘要。

記憶設計是群體環境的第二個關鍵。傳統方法是儲存所有對話後壓縮,更優方法是提取原子事實——與未來對話相關的任何資訊。提取器需回答:資訊是否高價值、是否相關、資訊間是否存在層次、是否考慮時間因素(某些內容隨時間更重要)。檢索時要用智慧方式(圖組織)而非爬取全部。記憶會膨脹,需訓練簡單ML模型學習什麼重要、什麼應遺忘,核心在於相關性評分器要不斷評分,因為群體情境持續變化——今天重要的事明天可能無關。最後要注意KV快取失效的問題。

隱私和許可權是第三維度。同一資料在不同上下文有不同隱私等級——購物清單無害,工資資訊高度私密,但本質是同類資料。關鍵洞察是從人腦工作方式借鑑:共享一個基礎記憶層,但在上層為每個使用者訓練獨立的LoRA介面卡。許可權現在由機器學習而非程式碼實現。群體環境中代理容易過度主動,需訓練分類器判斷髮言時機(何時應答、何時沉默)。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。