Your company brain will leak secrets: how we stopped it for big banks — Tanmai Gopal, PromptQL
三句話摘要
如何安全地建立企業級 AI 助手系統(公司大腦),避免洩露商業機密。 企業 AI 助手的安全關鍵在於集中化 Wiki、人工審核所有變更、使用使用者身份執行工具、每項變更追蹤責任人,而非試圖從技術層面完全自動化。 公司大腦應該由各部門自行維護專業知識,讓知識自然生長而非由中央集中建造。健康的公司大腦應該不斷演進,日常更新量持續增加,這表示系統被充分利用與持續學習。
重點整理
公司大腦應該由各部門自行維護專業知識,讓知識自然生長而非由中央集中建造。健康的公司大腦應該不斷演進,日常更新量持續增加,這表示系統被充分利用與持續學習。
避免使用隔離的團隊 AI 或自動記憶系統,這些會造成資訊孤立成多個竪井。正確做法是將所有內容集中到一個共享 Wiki(Markdown 檔案集合),讓各檔案能相互連結,確保知識可被有權限的人跨團隊存取。
最關鍵的防漏機制是讓 AI 提議變更而非自動加入,由人工審核並決定每個 Wiki 頁面的存取權限範圍,確保敏感資訊如薪資、財務數據只能被授權人員看到。
在多人協作場景中,必須在讀取資料和執行工具時都使用使用者的身份與認證,而非在系統中儲存通用密鑰,這樣才能確保權限控制和完整的審計追蹤。
實用技巧與重點
- 講者背景與企業背景
- 講者:Tan,PromQL 共同創辦人
- Hasura GraphQL 創辦人,開源 GraphQL 引擎,已部署於 Apple、Meta、JP Morgan 等企業
- 過去一年合作夥伴數:15-20 家企業
- 客戶類型
- AI 原生公司(願意採納任何可行方案)
- 科技先進公司如 Instacart(追求前沿技術且穩定)
- 金融機構(對安全有嚴格要求)
- PromQL 公司大腦規模
- 約 5,000 個相互連結的頁面
- 過去兩個月日常更新量呈上升趨勢
- 防漏架構四大原則
- 所有內容集中在一個公司級 Wiki(Markdown 檔案集合),不允許分散在多個平台或頻道
- 每項變更都必須標記具體是哪個人新增(人名而非「Claude 添加」或「AI 代理添加」)
- AI 提議變更時要顯示建議的存取權限範圍,由人工決定是否接受與範圍調整
- 讀取上下文時使用使用者的身份和權限聲明,執行工具時也要使用使用者的認證而非共用密鑰
- 實際案例流程(安全問卷回應)
- 收到客戶來信的安全問卷
- AI 從公司大腦查詢相關安全資訊
- AI 草擬回應並建議要加入的要點及存取範圍
- 人工審核後決定是否加入 Wiki 及最終權限設定
- 衍生產品
- PromQL(類似 Claude Tags 概念但支援多個 LLM 提供商包括 GPT、GLM 等)
- 聯絡方式
- 講者推特:@Tanme
結論
企業 AI 助手的安全關鍵在於集中化 Wiki、人工審核所有變更、使用使用者身份執行工具、每項變更追蹤責任人,而非試圖從技術層面完全自動化。
完整解析
講者 Tan 來自 Hasura GraphQL 背景,該公司在大規模資料存取領域積累了豐富經驗,已在 Apple、Meta、JP Morgan 等企業部署。正因為這些經驗,Tan 對資料安全有深刻的理解,也看到了企業導入 AI 助手的最大障礙:如何防止公司機密洩露。PromQL 在過去一年與 15-20 家企業合作,從中發現了三類典型客戶的需求。AI 原生公司願意接受任何可行的方案;科技先進公司如 Instacart 希望技術前沿且穩定;金融機構則對安全有嚴格要求。這多樣化的需求驅動了 PromQL 對公司大腦架構的思考。
傳統的公司大腦建設方式通常失敗,因為它試圖由中央團隊集中建造一套龐大的知識圖譜,結果沒人想去維護。Tan 認為正確的做法是讓公司大腦「生長」而非「被建造」。每個部門、每個人都維護自己專長領域的知識,這樣才能持續演進。PromQL 自己的公司大腦約有 5,000 個相互連結的頁面,且根據過去兩個月的數據,日常更新量還在持續增加。這說明一個健康的公司大腦應該不斷演進而非一成不變,更新量的增長反映了系統被充分利用與被持續教導。
防止洩露的核心架構包含三個層面。首先是集中存儲:所有內容都必須放在一個共享 Wiki(即 Markdown 檔案集合),避免資訊散落在多個隔離系統中,例如不同 Slack 頻道的團隊 AI 或個人記憶庫。其次是人工把關:不讓 AI 自動添加內容,而是讓 AI 提議變更及其建議的存取範圍,由人工審核決定。這是個甜蜜點,既不像 GitHub PR 流程那麼繁重,也不像完全自動化那麼危險。最後是責任追蹤:每項變更都必須標記具體是誰新增的,這樣一旦發生洩露就能追究責任而非「AI 添加的」這種無法追蹤的狀態。
在多人協作場景中(例如 Slack 線程中多個工程師共同調查事故),挑戰會加倍。這時不能簡單地給一個 AI 助手全權限,否則調試事故的人可能會意外部署到生產環境。正確做法是在讀取資料時使用該使用者的身份和權限聲明,在執行工具時也使用該使用者的認證,而不是在系統中儲存通用的密鑰。這樣即便多人共用一個 AI 助手,也能確保每個人只能做他們被授權的動作。這種設計特別重要在金融機構等高安全性環境中。


