KeyFrame內部研究專用

Shruti Datta Gupta & Chandrani Mukherjee - Security Guidance as a Service | [un]prompted 2026

unprompted·3月25日週三·23 min英文

三句話摘要

Adobe 開發統一的 AI 驅動平台,在開發流程各個階段(IDE、Jira、Slack)提供一致、組織專屬的安全指引。 提供組織特定的上下文是讓 AI 安全指引從通用建議升級至實際可用工具的關鍵——集中化、自動化、與持續評估的結合能打造可信賴的生產級 AI 系統。 中央知識庫解決分散問題:先前安全指引散落在多個平台與工具,導致信息重複、過時。Adobe 建立統一的向量存儲作為單一來源,確保開發者無論在 Jira、Slack 還是 IDE,獲得的建議都一致且來自經過審查的企業知識。

重點整理

重點
  • 1

    中央知識庫解決分散問題:先前安全指引散落在多個平台與工具,導致信息重複、過時。Adobe 建立統一的向量存儲作為單一來源,確保開發者無論在 Jira、Slack 還是 IDE,獲得的建議都一致且來自經過審查的企業知識。

  • 2

    自動化文檔管道減少人工成本:團隊開發了從 Git 元數據到向量嵌入的完整自動化流程,包括定時檢查文檔更新。這避免了手動複製貼上內容到向量存儲的低效做法,並透過 webhook 和 cron job 保持內容新鮮。

  • 3

    多層次安全指引覆蓋整個 SDLC:從「左移」的自動威脅建模(identifying threats early)、編碼時期的 IDE 協助,到「右移」的漏洞修復建議。不僅提供短期修補,也提供長期改進(類似漏洞統一解決方案),幫助團隊建立更安全的預設設置。

  • 4

    評估(Evals)是生產關鍵:團隊建立了黃金數據集與參考問答進行連續測試,驗證回答的正確性和相關性。儘管耗時且勞動密集,evals 是確保 AI 系統在生產環境中質量的必要條件。

實用技巧與重點

乾貨
  • 平台集成:Jira 票務工作流、Slack 頻道、自動威脅建模平台、IDE(透過 MCP server)、Cursor 編輯器(含自定義擴展)
  • 技術棧:向量存儲、RAG(檢索增強生成)、LLM 調用、LangSmith 日誌記錄、Git repo 作為元數據來源
  • 文檔流程:安全冠軍/專家 → Git 元數據文件 → PR 審查 → 下載服務(listener pub-sub model) → 攝入服務 → 向量嵌入 → Slack 通知 → 評估工作流
  • 評估指標:正確性、相關性、文檔新鮮度監控、安全規則效果 70% 漏洞減少率
  • 挑戰:評估的手動工作量、文檔新鮮度保持、同儕審查瓶頸、快速演進的 AI 技術跟進
  • 推廣策略:Cursor 擴展預裝 MCP configs、內部 roadshow、規則/技能文件、化複雜為無摩擦體驗

結論

結論

提供組織特定的上下文是讓 AI 安全指引從通用建議升級至實際可用工具的關鍵——集中化、自動化、與持續評估的結合能打造可信賴的生產級 AI 系統。

完整解析

詳細

Adobe 在過去 1.5 年開發的安全指引服務解決了一個經典問題:如何在龐大組織中高效地向眾多開發者提供一致的安全建議。傳統上,安全人員與開發者比例嚴重失衡,導致每次都只能提供一般性的安全指引,而非針對公司標準優化的建議;同時,安全信息分散在設計審查文檔、威脅建模系統、各類掃描器和零散的內部 wiki,最終造成信息孤島與過時文檔的問題。

團隊採用檢索增強生成(RAG)與向量存儲作為核心技術。最初在 Jira 集成(因為 Adobe 所有漏洞都在 Jira 中並有 SLA 要求),隨後擴展到 Slack 工作流以支持即時詢問,再進一步在威脅建模和漏洞修復流程中應用。但很快團隊發現,分別為每個系統建立獨立的向量存儲不可行,於是建立了單一、與平台無關的中央向量存儲。

文檔攝入管道是該系統的骨幹。安全專家在 Git repo 中提交元數據文件(包含 URL 和文檔信息),經同儕審查與 PR 合併後,自動觸發下載服務從該 URL 抓取內容。同時,cron 任務定期檢查已攝入 URL 的更新。內容被分塊、向量化,最後放入向量存儲。每次攝入完成後,系統在 Slack 發送通知並啟動評估工作流——團隊提前蒐集參考問答對(黃金數據集),據此檢驗新入文檔的回答正確性與相關性。

在 AI 協調層,系統接收來自多個來源的輸入:Jira 票務中的「如何修復此漏洞」、威脅建模引擎的「如何應對這個威脅」、開發者在 IDE 中的「如何防止 SQL 注入」。根據輸入類型調整系統提示詞,查詢向量存儲獲取組織特定的背景資料,再透過 LLM 格式化為結構化 JSON,並在 LangSmith 中記錄全過程以追蹤與調試。團隊也整合了線上評估,進一步確保實時質量監控。

在推廣層面,團隊開發了 Cursor 編輯器擴展,使 MCP 配置與安全規則在開發者登入時自動應用。同時舉辦內部 roadshow,教育開發者如何使用新工具。實踐發現,當安全檢查變得「無摩擦與無代價」時,開發者會主動採納,甚至主動要求使用。初步測試表明,即使只是基礎規則也能將漏洞減少 70%。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。