KeyFrame內部研究專用

Implementing Federated Learning to enhance Agentic AI

Practical AI43 min英文
觀看原始影片

三句話摘要

聯邦學習如何與 AI 代理系統結合,在保護隱私的前提下從分散數據中改進模型,以及個人與企業如何掌控自己的 AI 系統。 聯邦學習與 AI 代理的結合讓私密軌跡能在保護隐私的前提下改進模型,未來個人與企業都應掌控自己的數據與系統,以同時獲得隐私保護和系統可解釋性的完整掌控。 聯邦學習的核心是將模型訓練計算移至數據產生地(手機、筆電、醫院伺服器),而非中央化收集數據。這既保證原始數據永遠不離開產生地,避免隱私洩露,又能透過迭代訓練從分散數據中學習,同時滿足隱私法規要求。差分隐私等技術提供統計保證,但具體應用因場景而異。

重點整理

  1. 聯邦學習的核心是將模型訓練計算移至數據產生地(手機、筆電、醫院伺服器),而非中央化收集數據。這既保證原始數據永遠不離開產生地,避免隱私洩露,又能透過迭代訓練從分散數據中學習,同時滿足隱私法規要求。差分隐私等技術提供統計保證,但具體應用因場景而異。

  2. 當聯邦學習應用於 AI 代理時複雜性倍增。代理的特徵是能採取行動,每個行動都暴露更多使用者信息。長期軌跡不僅含提示,更包含代理的每一步決策、工具調用(MCP 伺服器、資料庫查詢等)、檢索到的外部信息。這些軌跡極度敏感卻對改進系統至關重要,聯邦學習能在保護隱私的前提下從中學習。

  3. 當代模型呈現矛盾趨勢:尺寸縮小、部署成本下降,但使用規模與改進需求反而增加。要改進模型必須掌控完整軌跡、分析故障模式、優化應用邏輯。企業尤其需要這種掌控,既可保護內部流程和知識產權,也無須依賴可能不透露細節的閉源提供商。

  4. 開源模型相比閉源模型提供更多隱私優勢。發展隱私敏感應用時應優先選擇開源模型,因為可透過更多技術檢驗隱私問題,且發現問題時能自行修復;閉源模型則難以確保修復可能性。

實用技巧與重點

  • 聯邦學習定義:訓練移至數據地點,數據永不移動,透過迭代更新聯合模型
  • 隱私技術:差分隐私、統計保證(因場景而異)
  • AI 代理軌跡成分:初始提示 → 子代理分支 → 外部信息檢索(檔案系統、網頁、醫療記錄等)→ 回溯主線 → 最終輸出
  • 應用實例:
  • 萬聖節服裝評分平台(視覺模型 + 多代理評論系統,攝像頭拍照參賽)
  • 家居管理:垃圾桶提醒、飯菜提醒
  • 會議錄音系統追蹤研究討論
  • 每日研究論文摘要播報
  • 模型趨勢:尺寸↓ / 部署成本↓ / 使用規模↑
  • 敏感應用:手術機器人、醫療診斷(需完全軌跡掌控 + 可解釋性)
  • 模型選擇:隱私應用優先選開源模型

結論

聯邦學習與 AI 代理的結合讓私密軌跡能在保護隐私的前提下改進模型,未來個人與企業都應掌控自己的數據與系統,以同時獲得隐私保護和系統可解釋性的完整掌控。

完整解析

Lorenzo Sani 的研究路徑體現了技術選擇往往源於實際問題。他從五年物理研究開始,在一家義大利研究機構從事醫療應用時發現隱私保護需求,進而深入聯邦學習。他成為 Flower 框架最早使用者之一,後來獲劍橋大學 Nick Lane 教授錄取為博士生,至今已在聯邦學習訓練大語言模型領域發表多篇論文。這段經歷反映出複雜系統的吸引力——從原始數據收集到最終模型部署的整個流程需要跨領域知識與創新思維。

聯邦學習解決的是一個根本矛盾:大量私密數據(醫療記錄、個人日誌、行為軌跡)對模型改進至關重要,但監管法規(如 GDPR)和隱私考量禁止中央化收集。聯邦學習的方案是將訓練計算分散到數據所在地(手機、筆電、醫院伺服器),模型在邊界設備上迭代優化,最終產出聯合模型,而原始數據始終不離開產生地。雖然差分隐私等技術能進一步提供統計保證防止隱私洩露,但具體應用因場景而異,某些情況下企業會因實施困難而放棄此方案。

當聯邦學習應用於 AI 代理系統時,複雜性顯著增加。AI 代理的特徵是能採取行動——讀取檔案、爬取網頁、修改資料、刪除信息。長期軌跡不僅包含使用者提示,更包含代理的每一步決策、工具調用、外部服務集成(MCP 伺服器、資料庫查詢等)、檢索到的背景信息。這些軌跡呈樹形結構,初始提示分支成多個子任務,最終聚合回主線以產生最終答案。這些軌跡極度敏感——可能包含使用者的工作內容、健康資訊、個人偏好等——卻對改進代理系統至關重要。聯邦學習能在保護隱私的前提下從分散的代理軌跡中學習,用於訓練更好的決策模型。

在實踐中,Lorenzo 和他在劍橋 CS 部門的室友們開發了實驗性應用展示這些可能性。一個令人印象深刻的例子是萬聖節派對的服裝評分平台:訪客站在攝像頭前按空白鍵拍照,多個 AI 代理即時討論服裝的恐怖度和搞笑度,並比較不同相片。訪客隨後開始嘗試「破解」系統——有人舉牌要求高分,有人聚集製造視覺衝擊。這個應用展示了在私有基礎設施上部署開源模型的靈活性和娛樂價值。他們還計劃部署更多家居應用:垃圾桶和飯菜提醒系統、會議錄音系統追蹤廚房中的研究討論、每日研究論文摘要播報系統。

從產業角度看,當代模型面臨一個關鍵轉變。模型尺寸縮小、部署成本下降、推理速度提升,但使用規模與改進需求卻在增長。要改進這些模型必須掌控完整的使用軌跡、分析故障模式、優化應用邏輯、甚至進行額外訓練。大企業特別青睞聯邦學習和協作訓練技術,因為既能保護內部流程和知識產權(IP),也無須依賴可能不完全透露過程細節的閉源提供商。在手術機器人、醫療診斷等敏感應用中,可解釋性和軌跡完全掌控更是必要條件,以確保模型的每一步決策都有明確基礎和可稽核性。

在隱私模型選擇上,Lorenzo 傾向推薦開源模型。相比閉源模型,開源模型允許開發者應用更多檢驗隱私的技術(如對模型進行隱私攻擊測試),發現問題時能自行修復;而閉源模型若有隱私問題則難以保證修復可能性。他強調不應盲目信任任何企業的隱私承諾,最好的方式是擁有完全掌控權。

Lorenzo 對未來的願景富於啟發性。他希望聯邦學習和協作訓練技術最終能讓每個人都在自己的筆電或家中基礎設施上運行這些管線,用於改進生活和工作流程。他認為最好的創新往往源於兩個因素:受到約束時激發的解決方案設計,和對令人煩惱之事的改進渴望。這種視角將技術從職業工具擴展為生活品質與工作流程優化的手段,體現了 AI 民主化的真正意義。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。