KeyFrame內部研究專用

The wrong kind of access. [Research Saturday]

CyberWire Daily28 min英文
觀看原始影片

三句話摘要

Google Gemini CLI 在 GitHub Actions 中的安全漏洞研究:提示注入如何導致 GCP 項目完全入侵。 Agent 系統的安全防護不能仰賴提示限制,必須透過完整的沙箱隔離、最小權限原則、正確的配置同步和徹底的工具安全審計來實現。 Agent 的雙重配置漏洞:Google 修復 YOLO mode 後引入工具限制,但新設置字段名稱(core.tools)與 GitHub Actions 配置(core tools)不同步,導致工具限制完全失效。

重點整理

  1. Agent 的雙重配置漏洞:Google 修復 YOLO mode 後引入工具限制,但新設置字段名稱(core.tools)與 GitHub Actions 配置(core tools)不同步,導致工具限制完全失效。

  2. 提示注入與代碼執行的複合風險:提示注入本身不是安全邊界,當與工具限制失效結合時,可直接導致任意代碼執行,而不僅是權限提升。

  3. 過度寬泛的身份認證管理:Gemini CLI 被賦予 GCP 服務帳號的完整模擬權限,這不應該是一個 Agent 的標準配置。

實用技巧與重點

  • Gemini CLI:Google 的 AI 開發工具,已集成至 GitHub Actions
  • 首個漏洞:YOLO mode 下無工具限制
  • 第二個漏洞:設置字段名稱不同步(core.tools vs core tools)
  • GitHub 倉庫規模:100,000+ stars,每日數千個新 issues
  • GCP 認證文件大小:3,000+ 字符,超過 LLM 可靠輸出能力
  • GitHub 防護機制:自動隱藏秘密內容(限制令牌外泄)
  • 攻擊成功方式:提示注入 → 提示執行任意命令 → 令牌外泄到攻擊者伺服器
  • Google 修復措施:
  • 認證文件加入忽略清單
  • 修復 core.tools 字段同步
  • 限制服務帳號過度權限

結論

Agent 系統的安全防護不能仰賴提示限制,必須透過完整的沙箱隔離、最小權限原則、正確的配置同步和徹底的工具安全審計來實現。

完整解析

Gemini CLI 是 Google 的 AI 編程協助工具,類似於 OpenAI 的 Codex,用於提供開發者支援。Google 將其整合至 GitHub Actions,以自動化處理大型開源項目中龐大的 GitHub issue 流量。以 Gemini CLI 官方倉庫為例,該專案每日收到數千個新 issues,Google 建立了自動化工作流,當用戶提交 issue 時,Gemini 會自動分析並套用適當的標籤(bug、feature、duplicate 等)。

研究者首先發現 Gemini CLI 在 YOLO mode 下沒有工具限制,這是一種無需人工審批即可執行任意操作的模式。他透過向倉庫提交含有提示注入指令的 issue,成功竊取了 GitHub token。Google 隨後修復了此漏洞,引入了新的工具限制機制。然而,進一步的代碼審查揭露了一個關鍵的配置錯誤:Google 在新的工具限制架構中更改了設置字段名稱(從 core tools 改為 core.tools),但 GitHub Actions 配置檔案中仍然使用舊的字段名稱,導致工具限制實際上並未生效。

利用這個配置漏洞,研究者展開第二輪攻擊。他最初嘗試讓 Gemini 直接讀取 GCP 認證文件並輸出令牌,但遇到障礙:GCP 認證文件長達 3,000+ 字符,而 GitHub 具有自動偵測並隱藏秘密的機制。LLM 難以準確地在如此龐大的上下文中重現完整令牌。研究者的解決方案是改變策略,既然 Gemini 可以執行任意代碼,他設計了一個精心的提示,聲稱這是一項防火牆測試,需要確保無法連接到互聯網,因此要求執行指定的命令。這個命令實際上是將令牌發送到攻擊者的伺服器。Gemini 毫無質疑地執行了該命令,完整的 GCP 認證令牌被外泄。

Google 對此採取了三層修復策略。首先,將 GCP 認證文件加入 Gemini CLI 的忽略清單,使執行中的 Agent 無法存取該文件。其次,修復了 core.tools 設置字段的同步問題,確保工具限制實際生效。最重要的是,Google 修復了認證文件本身的權限問題,該文件原本賦予了過度寬泛的服務帳號模擬權限。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。