KeyFrame內部研究專用

How private LLM inference actually works

Risky Business83 min英文
觀看原始影片

三句話摘要

私密LLM推理的技術原理與實現——利用可信執行環境確保雲端AI推理過程對服務商完全不可見。 私密推理通過硬件隔離、密碼學驗證和無狀態推理設計,將隱私從承諾轉變為可驗證的技術事實,同時在保護隱私前提下實現透明治理,為開源模型時代創造了一條新路。 密碼學驗證轉變了信任基礎:傳統雲服務要求用戶信任服務商的承諾,但私密推理通過遠程證明讓信任變成可驗證的技術事實。TEE能簽名所有運行代碼和模型權重,Tinfoil將代碼開源並在透明度日誌發佈哈希值,用戶連接時比對證明與實際值是否一致。這樣即使Tinfoil本身也無法篡改運行內容。

重點整理

  1. 密碼學驗證轉變了信任基礎:傳統雲服務要求用戶信任服務商的承諾,但私密推理通過遠程證明讓信任變成可驗證的技術事實。TEE能簽名所有運行代碼和模型權重,Tinfoil將代碼開源並在透明度日誌發佈哈希值,用戶連接時比對證明與實際值是否一致。這樣即使Tinfoil本身也無法篡改運行內容。

  2. 推理的無狀態特性是隱私保護的天然優勢:LLM推理每次都將整個對話發送到雲端,伺服器不需保存會話狀態。推理完成後所有敏感數據就在內存中被遺棄,無需寫入磁碟或長期儲存。這使得隱私保護只需確保內存加密隔離,比傳統應用簡單得多。

  3. 層層防禦設計堵住側信道:TLS連接直接在TEE內終止而非代理層、KV快取通過客戶端秘鑰加鹽來隔離不同用戶、網絡出口受限防止數據洩露。特別是KV快取加鹽巧妙地利用客戶端秘密建立隔離命名空間,使Tinfoil即使有心也無法透過快取命中時序推斷用戶行為。

  4. 隱私與治理不對立,而是互補:可在TEE內部署OpenAI GPT-O等安全分類器進行內容審查,分類器邏輯完全公開可驗證,這是傳統端到端加密方案(如Signal)無法實現的。隱私保護和問責治理可在同一框架內共存。

實用技巧與重點

  • 性能與成本
  • 推理間隔延遲增加 20-30%(實際增加數毫秒,多數場景感知不到)
  • 吞吐等其他指標受影響更小;定制GPU核可將開銷降至數個百分點
  • 定價比其他推理服務商高 10-15%
  • 目前主要限制:難以取得足量算力,無法滿足成長需求
  • 硬件與架構
  • 支持硬件:最新一代Nvidia GPU(Blackwell等)的機密計算功能
  • 單位配置:一個GPU必須作為整體綁定到單一TEE(無法分割成多個TEE)
  • 一台機器通常8個GPU,可配置為 1-8 個 GPU 共同形成單一 TEE
  • CPU 內存加密;GPU 內存通過隔離的連接路徑保護,無物理可訪問端點
  • 支持的開源模型
  • Llama、GLM、DeepSeek、Gemma 等公開可得模型
  • 核心技術組件
  • 可信執行環境(TEE/TE)與遠程證明(Remote Attestation)
  • 透明度日誌發佈代碼哈希,確保位級復現性
  • KV 快取加鹽(KV Cache Salting):客戶端注入秘密為快取隔離
  • 遺忘HTTP(Oblivious HTTP)變體:加密請求/回應,頭部保持透明用於計費
  • 隱私遮罩過濾:使用 OpenAI GPT-O 過濾搜索查詢中的敏感信息
  • OpenAI SDK 相容性:自動執行所有證明驗證
  • 客戶與治理
  • 典型客戶:律師(應對傳票風險)、金融機構(高頻交易IP保護)、企業(內部機密保護)、屏幕分析應用
  • 支持分層治理:可設定違規3次後禁用帳戶,用戶可選擇揭露記錄申訴
  • 開源分類器缺口:市場上安全分類器公開實現極少,多數為閉源專有

結論

私密推理通過硬件隔離、密碼學驗證和無狀態推理設計,將隱私從承諾轉變為可驗證的技術事實,同時在保護隱私前提下實現透明治理,為開源模型時代創造了一條新路。

完整解析

私密推理的出現是硬件進步和隱私需求的交匯點。過去數年,英偉達在GPU上引入機密計算能力,讓大型語言模型可在加密隔離的執行環境內運行。這不是簡單的網絡加密或虛擬機隔離,而是硬件層面的根本性保護——即使是運營服務的公司也無法訪問用戶數據。

技術的精妙之處在於其三層防禦架構。第一層是硬件加密隔離:GPU內存通過受保護的連接路徑隔離,任何試圖直接讀取的行為都被物理設計阻止。第二層是密碼學證明:TEE在啟動時生成簽名,將硬件配置、固件版本、操作系統、推理引擎代碼和模型權重全部編碼進去。Tinfoil將推理引擎完全開源,並通過透明度日誌發佈所有代碼的SHA-256哈希,用戶連接時拉取該哈希並與伺服器返回的證明比對,確保運行的代碼完全一致,無人可篡改。第三層是設計約束:推理的無狀態特性消除了長期儲存的需要。

這個無狀態特性值得深入理解。傳統Web應用在伺服器保存會話狀態,客戶端只維持用戶介面。但LLM推理完全相反——每次用戶發送消息時,整個對話歷史都上傳到雲端,模型預測下一個token,返回結果,然後所有計算中間狀態就在內存中遺棄。推理完成後,伺服器沒有對話副本,用戶端保留所有記錄。這是設計層面的隱私福利。

實現細節處理同樣重要。TLS加密會話不是在Tinfoil的代理伺服器上終止,而是直接在TEE內終止,意味著即使是Tinfoil的員工也無法看到明文請求。KV快取加速推理但帶來新的隱私風險——攻擊者可能透過測量快取命中速度推斷別人的提示詞內容。Tinfoil的解決方案創新地利用遺忘HTTP協議的思想:客戶端生成一個只有自己知道的秘密來為快取加鹽,即使Tinfoil也無法識別。這樣就創建了用戶特定的快取命名空間,時序攻擊變成無效。

在內容治理層面,傳統的端到端加密方案(如Signal)面臨兩難:要麼犧牲加密保護用戶內容進行檢查,要麼保護隱私但無法治理濫用。私密推理打破了這個困境。安全分類器(例如Anthropic的憲法AI分類器或OpenAI的GPT-O)可以直接部署在TEE內部,在推理後立即檢查輸出,同時用戶提示詞對Tinfoil完全不可見。分類器的邏輯完全公開,任何人都能審查和驗證其運作原理,實現了透明的、可驗證的治理。

面對閉源模型的競爭威脅,Tinfoil認為開源模型會長期存活。商業激勵結構決定了這一點:OpenAI、Anthropic等閉源提供商從使用者數據中提取價值,訓練更好的模型或售予第三方,他們沒有動機提供真正的隱私保護。即使提供,其商業模式也會推動他們盡可能收集數據。開源模型完全不同——沒人因開源權重的推理而獲利,因此私密推理與開源模型的激勵天然一致。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。