Wearing the Agent: From Group Chats to Glasses — Sai Krishna Rallabandi

賽·克里希納在這場演講中指出，整個AI技術社群都在討論智慧體系統，並稱"我們已經贏了——我們能構建智慧體"。智慧體的核心很簡單：它是系統模型（大腦）與編排方式和工具集的組合，使其能執行操作。然而，他提出了一個關鍵觀察：今天幾乎所有部署的代理都服務於單一客戶，即使是企業級程式設計助手也是如此。下一代代理將面向群體——像眼鏡一樣不可或缺、全天佩戴的系統。這一轉變帶來了截然不同的挑戰。

講者分享了8個月在朋友家族群體環境中的實驗案例。代理因隱私考量用私信而非群組回覆位置資訊；在幫助協調家庭活動時，代理能理解睡眠不足導致的決策困難；眼鏡代理甚至在講者開車時避免使用車載廣播而選擇直接通話以保護隱私。群體環境中的對話持續演進，代理需智慧篩選相關記憶；講者3歲女兒使用的學習代理能及時報告學習進度並防止遺忘。這些例子說明群體部署需要全新的維度設計。

演講的核心是三方面機制。安全層面臨的挑戰遠超LLM：LLM產生幻覺時可檢查輸出，但代理系統不僅操作LLM還操作實際物件（網頁、郵件、GitHub、群組訊息、截圖），攻擊面極其廣闊。一篇重要研究發現，約90%的攻擊來自兩個表面無害的技能在執行時組合時暴露的漏洞——OCR模組提取資訊，報表模組將其傳送給第三方。防護不應在輸入層（那會堵塞一切），而應在行動層（執行前過濾）。講者提出三層方案：簡單的確定性防護（用正規表示式標記bash變數、金鑰等）、人工審批的操作、禁止列表。進一步最佳化是訓練有監督微調的LoRA模型，預測資料流中的惡意內容，分離指令和資料通道，當指令是"總結這個頁面"時，即使網頁含提示注入，模型也只返回摘要。

記憶設計是群體環境的第二個關鍵。傳統方法是儲存所有對話後壓縮，更優方法是提取原子事實——與未來對話相關的任何資訊。提取器需回答：資訊是否高價值、是否相關、資訊間是否存在層次、是否考慮時間因素（某些內容隨時間更重要）。檢索時要用智慧方式（圖組織）而非爬取全部。記憶會膨脹，需訓練簡單ML模型學習什麼重要、什麼應遺忘，核心在於相關性評分器要不斷評分，因為群體情境持續變化——今天重要的事明天可能無關。最後要注意KV快取失效的問題。

隱私和許可權是第三維度。同一資料在不同上下文有不同隱私等級——購物清單無害，工資資訊高度私密，但本質是同類資料。關鍵洞察是從人腦工作方式借鑑：共享一個基礎記憶層，但在上層為每個使用者訓練獨立的LoRA介面卡。許可權現在由機器學習而非程式碼實現。群體環境中代理容易過度主動，需訓練分類器判斷髮言時機（何時應答、何時沉默）。