KeyFrame內部研究專用

Raghu Yeluri - The Advent of Confidential AI | [un]prompted 2026

unprompted·4月23日週四·27 min英文

三句話摘要

机密计算(Confidential Computing)在AI工作负载中的应用与实现——如何通过硬件保护环境保护模型、数据和隐私。 机密计算已从学术概念进化为可立即采购的产品(Azure、GCP、IBM 均支持),将在未来 2-3 年成为运行 AI 和代理系统的安全默认方式。 机密计算的三层防护:使用中数据加密(TEE内透明,外部无法访问)、静态加密存储、远程证明令牌(证明你真的在合法环境运行),防护范围涵盖零日漏洞、恶意管理员、邻近租户窜访。

重點整理

重點
  • 1

    机密计算的三层防护:使用中数据加密(TEE内透明,外部无法访问)、静态加密存储、远程证明令牌(证明你真的在合法环境运行),防护范围涵盖零日漏洞、恶意管理员、邻近租户窜访。

  • 2

    CPU+GPU混合架构的演进路径:短期(现在)采用软件方案,CPU和GPU共享密钥,数据通过加密缓冲区传输;长期(1-2年)通过PCI总线硬件加密实现端到端自动保护,应用层无感知。

  • 3

    认证的职责分离原则至关重要:云服务商既提供基础设施又作为安全认证者存在利益冲突,需要第三方独立验证(如Intel Trust Authority)——金融行业称之为"四眼原则",受监管行业必须执行。

  • 4

    机密计算从概念走向标准配置:DORA、美国行政命令、EU AI法案都明确指向机密计算要求,企业和云商已将其视为合规和安全竞争力,未来2-3年将成为运行代理AI的默认方式。

實用技巧與重點

乾貨
  • 硬件与产品:
  • Intel TDX(可信域扩展):支持 Azure、GCP、IBM、Oracle Cloud,虚拟机配置示例 26vCPU+128GB 内存可直接升级到机密实例
  • Intel Trust Authority:SaaS 版和本地部署两种模式,统一 API 支持 CPU+GPU(H100、Blackwell 等)混合认证
  • Google Confidential Space:基于 TDX 的容器洁净室方案,Google Cloud 已上线
  • 关键流程:
  • 软件缓冲区方案:CPU 将加密数据写入缓冲区 → GPU 读取 → CPU 和 GPU 共享密钥解密 → 在 GPU 上运行
  • 医学影像微调案例:医院A/B/C 从 CipherTrust 获密钥加密数据 → 模型所有者加密模型 → Intel Trust Authority 验证后按策略解锁密钥到 TEE → 模型训练 → 数据删除、模型重新加密发回
  • 安全标准:
  • CoSAI(安全AI联盟)发布的 MCP 安全立场文件:记录 12 类威胁,机密计算列为重要防控措施(文件公开免费)
  • 远程证明内容:硬件类型、固件版本、软件版本、容器测量值,都可被独立验证

結論

結論

机密计算已从学术概念进化为可立即采购的产品(Azure、GCP、IBM 均支持),将在未来 2-3 年成为运行 AI 和代理系统的安全默认方式。

完整解析

詳細

机密计算解决的核心问题是AI时代的信任悖论:云计算提供了弹性和规模,但在安全上引入了新风险。无论数据中心在哪,无论是自有还是公有云,恶意的系统管理员都可以对虚拟机进行快照,获取运行中的模型权重、提示词、用户数据。更严峻的是,合规要求(HIPAA、金融法规)要求数据保护不能依赖基础设施提供商的承诺。

Intel 的 Ragu Yavuri 介绍了机密计算的三层防护机制。第一层是使用中的数据保护——应用在硬件保护的可信执行环境(TEE)内运行,即使操作系统或管理员有最高权限,也无法看到 TEE 内的数据,就像一个"加密玻璃盒"。第二层是静态加密和密钥隔离,密钥只存在于 CPU 内部。第三层是远程证明,系统会生成一个密码学签名的证明令牌,说明"这就是你期望运行的环境,硬件是 X,固件版本是 Y,我的容器哈希值是 Z",允许第三方验证没有被篡改。这三层合力防护零日漏洞、恶意员工、邻近租户的侧信道攻击。

实现上,Intel 推出 TDX(可信域扩展)解决了一个关键痛点——用户可以取现有的虚拟机镜像或容器,点击一个"升级到机密计算"的按钮,完全不改代码就运行在安全环境中。这消除了迁移成本。对于 AI 来说,单纯在 CPU 上运行不够——大模型需要 GPU 加速。Intel 和 Nvidia 合作设计了混合方案。近期(现在)通过"反弹缓冲区"实现——CPU 和 GPU 握手共享一个秘密,CPU 将加密数据写到共享内存缓冲区,GPU 读出、用共享密钥解密、运行、再加密写回,完全不信任 PCIe 总线本身。长期(1-2 年后)硬件会进化,PCIe 总线本身加密,CPU 和 GPU 会自动协商信任,应用层无需改动。

认证的设计体现了深层的安全哲学。如果云服务商既提供基础设施又说"放心,我给你做了安全认证",这违反了职责分离。在受监管行业,这种冲突是致命的——金融机构讲"四眼原则",一个人不能既执行又监督。所以 Intel Trust Authority 作为独立第三方出现,无论你在 Azure、Google、IBM、甚至阿里巴巴或自有数据中心,它都能用统一 API 为你的 CPU 和 GPU 混合工作负载生成认证令牌。

三个实例充分展示了威力。Google 的 Confidential Space 本质是"AI 数据洁净室"——把整个容器、操作系统、应用都放进 TDX,所有执行都被测量,启动时自动向 Intel Trust Authority 证明,获得一个令牌,这个令牌就是通行证,Google Cloud 和 AWS 的受保护资源(数据库、密钥)验证了令牌才会放行。医学影像那个案例更深层——多家互不信任的医院需要共同优化诊断模型,但都害怕数据泄露,模型供应商害怕 IP 被抄。解决方案:用 Thales CipherTrust 密钥管理系统,每家医院独立加密数据,模型供应商加密模型,全部丢进 TEE,Intel Trust Authority 验证后释放密钥只到 TEE 内,模型在那里解密、用全部医院数据微调、数据自动删除、模型重新加密送回模型供应商。结果是医院的 PII 永不暴露、模型 IP 得保护、最终模型质量大幅提升。

代理 AI 的未来也在机密计算中。一个代理系统会有 LLM 推理引擎、多个领域专属小模型、MCP 服务器、RAG 向量库,每一层都可能泄露敏感信息。CoSAI 联盟已经识别了 MCP 的 12 类威胁(如工具滥用、数据窃取、模型提炼攻击),机密计算被列为核心防御。把整个代理系统运行在 TDX 中,所有中间状态、上下文窗口、工具调用都加密,只有应用所有者看到。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。