KeyFrame內部研究專用

Can Open Source Make AI Agents Safer?

NVIDIA and Hugging Face16 min英文
觀看原始影片

三句話摘要

AI代理時代的安全防禦必須從被動的模型約束轉向主動的硬邊界控制,整合硬體層級的身份驗證與開源模型的韌性。 安全與能力不是對立,而是相互解鎖的——唯有建立硬體層級的真正邊界與開源標準的透明防禦,才能安全地釋放AI代理的全部潛能,同時透過民主化微調讓更多人參與這場技術革命。 從軟性勸阻到硬性邊界的必然性:模型會被說服,但硬體邊界不會。LLM的安全訓練重要但不足夠,必須在模型外部有獨立的控制層,例如NVIDIA Sentry這類在硬體層執行的防禦系統。

重點整理

  1. 從軟性勸阻到硬性邊界的必然性:模型會被說服,但硬體邊界不會。LLM的安全訓練重要但不足夠,必須在模型外部有獨立的控制層,例如NVIDIA Sentry這類在硬體層執行的防禦系統。

  2. 代理身份需要重新定義:傳統數位身份只是識別符+權限清單,AI代理則需要「AI Passport」——包含商業背景、目的、即時訪問需求的上下文感知型身份,能在毫秒級動態判斷是否應授權。

  3. 開源的安全優勢勝於隱匿:Linux已證明開源系統比閉源系統更安全;未來AI模型能逆向工程閉源代碼,安全不能依靠隱匿,反而開放標準與多貢獻者審視才是長期防禦。

  4. 安全是能力解鎖的鑰匙,非瓶頸:只有建立好安全框架,才能釋放AI代理80%未開發的潛能,包括複雜的企業流程自動化、科學研究加速,就像先保護房間電插座才能讓小孩安全活動。

實用技巧與重點

  • 工具與平台名稱:
  • NVIDIA Sentry(硬體層安全執行)
  • ServiceNow AI Control Tower(企業AI治理)
  • ServiceNow AI Passport(上下文感知身份)
  • Claude Code、Codex、DeepSeek-V4(協助微調的coding agents)
  • 具體數據:
  • Hugging Face 18 百萬使用者正在微調與訓練模型
  • 目標:達到 100-200 百萬(與全球軟體開發者規模對標)
  • AI代理目前只開發利用 20% 的能力,剩餘 80% 待安全框架完成後釋放
  • AI Passport 在硬體層執行速度:毫秒級
  • 關鍵概念:
  • Just-in-time access(即時訪問決策)
  • Out-of-band enforcement(頻外執行——與代理主機分離)
  • Compliance(合規性——推動機器人時應平滑反應,而非任意移動)
  • Contextual tool constraints(上下文工具約束——可選擇性地阻止某些行為,允許其他業務操作)
  • 過往事件:
  • Hugging Face 夏季遭 700 個代理群體協調攻擊,發現當時基於 Claude Opus 的棧無法處理(模型拒絕分析網攻日誌),只得轉向開源模型才完成法醫分析

結論

安全與能力不是對立,而是相互解鎖的——唯有建立硬體層級的真正邊界與開源標準的透明防禦,才能安全地釋放AI代理的全部潛能,同時透過民主化微調讓更多人參與這場技術革命。

完整解析

這場討論觸及AI時代安全防禦的根本轉變。長期以來,業界假設告訴模型「不要做危險的事」就足夠了,但在AI代理以機器速度運作的現實中,這種被動的請求型控制已經失效。模型會被說服、被繞過,唯有在模型外部的硬體層實施真正的邊界,才能提供可信的防禦。

Hugging Face的Thomas Wolf分享了一個生動的案例:該公司在夏季遭到700個協調攻擊的代理襲擊。他們當時依賴的Claude Opus棧在面對網攻日誌分析請求時,模型反覆拒絕,宣稱這違反安全政策。正因如此,他們別無選擇地轉向開源模型,成功完成了法醫分析。這說明了一個核心洞察:如果所有防禦都依賴於一兩家公司的專有模型,本身就構成了單點失敗的風險。應對代理級威脅需要多層次、多來源的防禦,包括能快速分析威脅的專用開源模型。

ServiceNow的Amanda Grady則從身份與訪問控制的角度提出新框架。傳統的數位身份只是一個識別符加上靜態權限清單——人類加入公司後權限相對穩定。但AI代理截然不同,它們朝生暮死、瞬息萬變,需要「即時訪問」決策。ServiceNow建構的AI Passport將商業背景、目的、安全脈絡融入身份本身,使得授權決策能在具體時刻、基於具體背景做出。配合NVIDIA Sentry在硬體層毫秒級的執行能力,這套系統能在代理造成真實傷害前就即刻撤銷權限、隔離威脅。

在開源與閉源的爭論上,兩位講者達成共識:安全不能依靠隱匿。Linux與Unix的歷史已證明開源系統往往更安全,因為數百萬的眼睛能發現與修復問題。而未來的AI模型能逆向工程低階代碼、破解黑盒實現,依靠複雜性與不公開來隱藏漏洞的做法必然失效。反而擁抱開源、建立開放標準(如讓AI Passport成為業界標準),才能在透明基礎上構建真正可驗證的防禦。

最後,兩位強調安全與能力的共生關係。現有AI代理只開發了約20%的潛力,剩餘80%的能力——包括複雜的企業流程自動化、科學研究加速、新發現的可能性——只有在安全框架就位後才能釋放。Thomas以養育小孩為喻:先保護家裡的電插座和危險物,孩子才能安全地探索與成長。同樣,企業必須先建立安全邊界,AI代理才能在此基礎上安全地承擔更廣泛的業務任務。而在民主化層面,Hugging Face的願景是讓18百萬使用者成長到100-200百萬,讓更多人不只消費AI,更能親手構建與微調AI,透過個人參與來對抗權力集中的風險。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。