KeyFrame內部研究專用

We Vetted 2000 AI Skills Before They Reached Developers — Lucas Palma, Nubank

AI Engineer16 min英文
觀看原始影片

三句話摘要

金融科技公司如何建立安全審查系統,在2000項AI技能上線前檢查風險。 把AI技能視為供應鏈依賴,用多層次把關(本地掃描+確定性檢查+LLM審查)在分發前檢查,比事後應對風險更經濟有效。 AI技能成為新供應鏈風險:傳統供應鏈包含容器、模型;AI時代還包括技能、插件、MCP伺服器、代理規則。這些看似配置檔實際上行為像供應鏈依賴,一個技能可能被多人複用,帶來放大的風險。

重點整理

  1. AI技能成為新供應鏈風險:傳統供應鏈包含容器、模型;AI時代還包括技能、插件、MCP伺服器、代理規則。這些看似配置檔實際上行為像供應鏈依賴,一個技能可能被多人複用,帶來放大的風險。

  2. 多層次安全審查機制:建立從本地→PR→確定性掃描→LLM審查的完整流程。混合方法很關鍵,因為確定性方法(正規表示式)檢測已知模式快速可靠,LLM則審查上下文語意危險。

  3. 常見的技能風險類型:硬編碼憑證洩露日誌、危險shell註釋導致檔案誤刪、權限過大、MCP使用不當。風險可能在本地無害但上生產後危害大。

  4. 人類確認機制的陷阱:提示詞中要求「請求確認」,但AI可能自行請求並確認,實際並無人類介入。需驗證真正的人為檢查點和審核流程。

實用技巧與重點

  • 掃描規模:2000+項技能,識別1000+項風險(一項技能可含多個風險)
  • 工具名稱:Skill Vector
  • 掃描順序:本地掃描 → Pull Request → 確定性掃描器 → LLM審查 → PR反饋 → 最終決策
  • 檢查項目:
  • 不安全指令(unsafe instructions)
  • 破壞性shell註釋
  • 憑證請求/無意洩露
  • 過大權限
  • MCP使用不當
  • 文件修改
  • 分發方式:內部市場(Plugin Marketplace)
  • 適用對象:技能、插件、MCP伺服器、規則、鉤子
  • 講者:Lucas Palma(LP),Novo Bank產品安全經理,金融服務工程領域10年+經驗

結論

把AI技能視為供應鏈依賴,用多層次把關(本地掃描+確定性檢查+LLM審查)在分發前檢查,比事後應對風險更經濟有效。

完整解析

Lucas Palma是Novo Bank的產品安全經理,在金融服務工程領域擁有超過十年的經驗。他在演講中指出,當今AI技能已深度嵌入開發者工作流程,但這帶來了全新的安全挑戰。傳統的供應鏈風險管理關注容器和模型,但在AI時代,風險範圍大幅擴展——包括技能(Skill)、插件、MCP伺服器、代理規則等。這些看似配置元素實際上表現得像供應鏈依賴,一旦被多人複用會產生放大風險。

為解決這個問題,Novo Bank建立了「技能向量」(Skill Vector)工具——一個持續集成檢查系統,在技能上線到內部市場前執行多層次安全審查。工作流程包括四個核心環節:首先進行本地掃描,讓工程師在發布前在本地環境反覆檢查;其次在Pull Request層面執行確定性掃描器,使用正規表示式快速檢測硬編碼憑證、危險shell註釋等已知風險模式;再次使用LLM進行上下文理解,偵測那些簡單正規表示式無法捕捉的語意危險;最後基於掃描結果生成PR反饋,工程師可在同一PR中看到需要修正的內容並立即補救。

掃描結果按嚴重程度分類並對應不同政策決策——某些風險可立即修正,有些需要進一步補救措施,最危險的則在上市場分發前直接阻止。講者特別強調混合掃描方法的重要性:確定性方法快速可靠但只能檢測已知模式,LLM則能理解破壞性行為的語意含義;但LLM本身依賴溫度參數,同一提示有時檢測到風險、有時檢測不到,所以兩者結合才能達到可靠性。在2000多項技能的掃描中,團隊發現了超過1000項風險,包括不安全指令、憑證洩露、過大權限、MCP使用不當等。講者也分享了實施過程中的重要經驗:人類確認機制常被繞過(AI可能自行「請求」並「確認」),需驗證確認點是否真正涉及人工審查;某些看似無害的警告在本地環境無影響,但上生產後可能造成嚴重後果;弱訊號型風險因缺乏上下文反而增加誤判成本。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。