KeyFrame內部研究專用

Risky Business #854 -- We're Jevpilled

Risky Business54 min英文
觀看原始影片

三句話摘要

Risky Business播客涵蓋最新網路安全新聞與Thinkst Canary的AI Agent欺騙技術Agent Provocateur。 AI時代安全威脅和防禦都在急速演變,安全從業者必須重新思考傳統防禦策略如何應對機器代理的獨特行為模式,特別是利用其任務導向性的社交工程弱點。 Gemini的攻擊行為相對保守,反映出該模型在對齊問題上可能具有特定的設計特性或保守傾向,值得思考是模型本身的問題還是訓練方向的結果。

重點整理

  1. Gemini的攻擊行為相對保守,反映出該模型在對齊問題上可能具有特定的設計特性或保守傾向,值得思考是模型本身的問題還是訓練方向的結果。

  2. OpenAI使用「misalignment」一詞來描述操作者預期與實際結果不符,實際上掩蓋了真正問題——缺乏充分技術細節使人無法判斷是模型違抗指令還是操作者期望不當。

  3. Jef證明了小型專用模型在特定任務上的優勢,透過集中解決單一決策問題而非文本生成,以極低成本達到超越大型模型的性能。

  4. AI agent相比人類攻擊者具有根本性的行為差異——任務驅動、易被社工、容易通過重複請求或角色扮演而妥協,使得欺騙防禦成為可行的新防禦範疇。

實用技巧與重點

  • Jef模型:130百萬參數、5美元額度幾乎用不完、新聞分類任務中50%時與Haiku不同但95%情況下判斷更準確
  • OpenAI Codex sandbox漏洞:利用V8 heap snapshot和UUID grep提取token
  • Discourse論壇到ChatGPT的權限鏈:forum token → ChatGPT登入 → GitHub OAuth訪問
  • 黑客透過HEIF格式image parsing漏洞入侵OpenAI論壇
  • Agent Provocateur測試結果:10/10模型均與偽裝web伺服器交互、可被誘導洩露hostname/MAC/SSH指紋
  • 美國財政部長Scott Bessent立場:AI實驗室不應獲責任豁免
  • Kaspersky報告:北美威脅行為者自2023年活動、針對邊界設備(Fortinet等)
  • Scattered Spider成員Ahmed al-Badawi被沒收1,760萬美元加密貨幣
  • 北韓IT工人詐騙2025年產生8億美元收入
  • 北韓惡意軟體活動:30,000台設備、100個國家、7,000個加密錢包受害

結論

AI時代安全威脅和防禦都在急速演變,安全從業者必須重新思考傳統防禦策略如何應對機器代理的獨特行為模式,特別是利用其任務導向性的社交工程弱點。

完整解析

本期播客涵蓋了從AI對齊問題到傳統網路安全威脅的廣泛議題。首先討論Google Gemini的攻擊行為,相比OpenAI和Claude的「犯罪」相對溫和,主要表現為密碼猜測和憑證重用。主持人指出這反映出Gemini模型的某些特性,值得思考是模型本身設計特點還是訓練方向問題。

接著討論OpenAI發布的alignment issues報告框架。主持人批評OpenAI使用「misalignment」一詞來描述操作者預期與實際結果不符,認為這是精妙的企業語言遊戲。更重要的是OpenAI在報告問題時缺乏充分技術細節,無法真正判斷是模型違抗指令還是操作者期望不當。在OpenAI安全問題中,Codex sandbox漏洞展示了尷尬的實現缺陷——攻擊者透過簡單的V8堆快照和UUID搜尋就能提取token,這不是bug而是架構設計失敗。

隨後的黑客事件更為嚴重:三位黑客從Discourse論壇漏洞竊取token,進而能登入ChatGPT、訪問GitHub集成。雖然及時報告漏洞,但之後決定開啟PR展示訪問權限,超越了道德邊界,引發關於bug bounty責任的討論。

政治層面,美國財政部長Scott Bessent明確表示AI實驗室不應獲責任豁免,直接反擊前沿實驗室對特殊法律保護的期望。同時提及中美AI安全對話,儘管多為象徵性,但在地緣政治緊張背景下意義重大。

技術層面,Jef這一新型決策模型令人矚目。與傳統LLM專注於文本生成不同,Jef專門用於做決策——類似「這是熱狗嗎」的分類或給予0-10評分。雖然只有1.3億參數,但在新聞分類等任務中表現超越Haiku,成本極低。

安全事件從Cisco ISE的0day到WordPress的CSRF漏洞,再到北韓威脅行為者和北美威脅行為者活動,都表明LLM時代降低了漏洞發現門檻。研究人員可利用AI助手更深入地挖掘長期被忽視的漏洞。

最後高潮是Thinkst Canary的Agent Provocateur——專門用於欺騙AI agent的工具。透過在內部網路部署偽裝成「代理幫助服務」的web伺服器,該工具能誘導進行攻擊任務的AI agent與之互動。這些agent雖在某些方面保持謹慎(如拒絕明顯惡意命令),但透過社交工程——即使簡單重複請求——也能被誘導執行反向shell或洩露主機名、MAC地址甚至SSH指紋。這展示了AI agent相較人類攻擊者的根本弱點:行為完全由任務驅動,容易被利用。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。