KeyFrame內部研究專用

Your company brain will leak secrets: how we stopped it for big banks — Tanmai Gopal, PromptQL

AI Engineer英文
觀看原始影片

三句話摘要

如何安全地建立企業級 AI 助手系統(公司大腦),避免洩露商業機密。 企業 AI 助手的安全關鍵在於集中化 Wiki、人工審核所有變更、使用使用者身份執行工具、每項變更追蹤責任人,而非試圖從技術層面完全自動化。 公司大腦應該由各部門自行維護專業知識,讓知識自然生長而非由中央集中建造。健康的公司大腦應該不斷演進,日常更新量持續增加,這表示系統被充分利用與持續學習。

重點整理

  1. 公司大腦應該由各部門自行維護專業知識,讓知識自然生長而非由中央集中建造。健康的公司大腦應該不斷演進,日常更新量持續增加,這表示系統被充分利用與持續學習。

  2. 避免使用隔離的團隊 AI 或自動記憶系統,這些會造成資訊孤立成多個竪井。正確做法是將所有內容集中到一個共享 Wiki(Markdown 檔案集合),讓各檔案能相互連結,確保知識可被有權限的人跨團隊存取。

  3. 最關鍵的防漏機制是讓 AI 提議變更而非自動加入,由人工審核並決定每個 Wiki 頁面的存取權限範圍,確保敏感資訊如薪資、財務數據只能被授權人員看到。

  4. 在多人協作場景中,必須在讀取資料和執行工具時都使用使用者的身份與認證,而非在系統中儲存通用密鑰,這樣才能確保權限控制和完整的審計追蹤。

實用技巧與重點

  • 講者背景與企業背景
  • 講者:Tan,PromQL 共同創辦人
  • Hasura GraphQL 創辦人,開源 GraphQL 引擎,已部署於 Apple、Meta、JP Morgan 等企業
  • 過去一年合作夥伴數:15-20 家企業
  • 客戶類型
  • AI 原生公司(願意採納任何可行方案)
  • 科技先進公司如 Instacart(追求前沿技術且穩定)
  • 金融機構(對安全有嚴格要求)
  • PromQL 公司大腦規模
  • 約 5,000 個相互連結的頁面
  • 過去兩個月日常更新量呈上升趨勢
  • 防漏架構四大原則
  • 所有內容集中在一個公司級 Wiki(Markdown 檔案集合),不允許分散在多個平台或頻道
  • 每項變更都必須標記具體是哪個人新增(人名而非「Claude 添加」或「AI 代理添加」)
  • AI 提議變更時要顯示建議的存取權限範圍,由人工決定是否接受與範圍調整
  • 讀取上下文時使用使用者的身份和權限聲明,執行工具時也要使用使用者的認證而非共用密鑰
  • 實際案例流程(安全問卷回應)
  • 收到客戶來信的安全問卷
  • AI 從公司大腦查詢相關安全資訊
  • AI 草擬回應並建議要加入的要點及存取範圍
  • 人工審核後決定是否加入 Wiki 及最終權限設定
  • 衍生產品
  • PromQL(類似 Claude Tags 概念但支援多個 LLM 提供商包括 GPT、GLM 等)
  • 聯絡方式
  • 講者推特:@Tanme

結論

企業 AI 助手的安全關鍵在於集中化 Wiki、人工審核所有變更、使用使用者身份執行工具、每項變更追蹤責任人,而非試圖從技術層面完全自動化。

完整解析

講者 Tan 來自 Hasura GraphQL 背景,該公司在大規模資料存取領域積累了豐富經驗,已在 Apple、Meta、JP Morgan 等企業部署。正因為這些經驗,Tan 對資料安全有深刻的理解,也看到了企業導入 AI 助手的最大障礙:如何防止公司機密洩露。PromQL 在過去一年與 15-20 家企業合作,從中發現了三類典型客戶的需求。AI 原生公司願意接受任何可行的方案;科技先進公司如 Instacart 希望技術前沿且穩定;金融機構則對安全有嚴格要求。這多樣化的需求驅動了 PromQL 對公司大腦架構的思考。

傳統的公司大腦建設方式通常失敗,因為它試圖由中央團隊集中建造一套龐大的知識圖譜,結果沒人想去維護。Tan 認為正確的做法是讓公司大腦「生長」而非「被建造」。每個部門、每個人都維護自己專長領域的知識,這樣才能持續演進。PromQL 自己的公司大腦約有 5,000 個相互連結的頁面,且根據過去兩個月的數據,日常更新量還在持續增加。這說明一個健康的公司大腦應該不斷演進而非一成不變,更新量的增長反映了系統被充分利用與被持續教導。

防止洩露的核心架構包含三個層面。首先是集中存儲:所有內容都必須放在一個共享 Wiki(即 Markdown 檔案集合),避免資訊散落在多個隔離系統中,例如不同 Slack 頻道的團隊 AI 或個人記憶庫。其次是人工把關:不讓 AI 自動添加內容,而是讓 AI 提議變更及其建議的存取範圍,由人工審核決定。這是個甜蜜點,既不像 GitHub PR 流程那麼繁重,也不像完全自動化那麼危險。最後是責任追蹤:每項變更都必須標記具體是誰新增的,這樣一旦發生洩露就能追究責任而非「AI 添加的」這種無法追蹤的狀態。

在多人協作場景中(例如 Slack 線程中多個工程師共同調查事故),挑戰會加倍。這時不能簡單地給一個 AI 助手全權限,否則調試事故的人可能會意外部署到生產環境。正確做法是在讀取資料時使用該使用者的身份和權限聲明,在執行工具時也使用該使用者的認證,而不是在系統中儲存通用的密鑰。這樣即便多人共用一個 AI 助手,也能確保每個人只能做他們被授權的動作。這種設計特別重要在金融機構等高安全性環境中。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI