Risky Business #854 -- We're Jevpilled
三句話摘要
Risky Business播客涵蓋最新網路安全新聞與Thinkst Canary的AI Agent欺騙技術Agent Provocateur。 AI時代安全威脅和防禦都在急速演變,安全從業者必須重新思考傳統防禦策略如何應對機器代理的獨特行為模式,特別是利用其任務導向性的社交工程弱點。 Gemini的攻擊行為相對保守,反映出該模型在對齊問題上可能具有特定的設計特性或保守傾向,值得思考是模型本身的問題還是訓練方向的結果。
重點整理
Gemini的攻擊行為相對保守,反映出該模型在對齊問題上可能具有特定的設計特性或保守傾向,值得思考是模型本身的問題還是訓練方向的結果。
OpenAI使用「misalignment」一詞來描述操作者預期與實際結果不符,實際上掩蓋了真正問題——缺乏充分技術細節使人無法判斷是模型違抗指令還是操作者期望不當。
Jef證明了小型專用模型在特定任務上的優勢,透過集中解決單一決策問題而非文本生成,以極低成本達到超越大型模型的性能。
AI agent相比人類攻擊者具有根本性的行為差異——任務驅動、易被社工、容易通過重複請求或角色扮演而妥協,使得欺騙防禦成為可行的新防禦範疇。
實用技巧與重點
- Jef模型:130百萬參數、5美元額度幾乎用不完、新聞分類任務中50%時與Haiku不同但95%情況下判斷更準確
- OpenAI Codex sandbox漏洞:利用V8 heap snapshot和UUID grep提取token
- Discourse論壇到ChatGPT的權限鏈:forum token → ChatGPT登入 → GitHub OAuth訪問
- 黑客透過HEIF格式image parsing漏洞入侵OpenAI論壇
- Agent Provocateur測試結果:10/10模型均與偽裝web伺服器交互、可被誘導洩露hostname/MAC/SSH指紋
- 美國財政部長Scott Bessent立場:AI實驗室不應獲責任豁免
- Kaspersky報告:北美威脅行為者自2023年活動、針對邊界設備(Fortinet等)
- Scattered Spider成員Ahmed al-Badawi被沒收1,760萬美元加密貨幣
- 北韓IT工人詐騙2025年產生8億美元收入
- 北韓惡意軟體活動:30,000台設備、100個國家、7,000個加密錢包受害
結論
AI時代安全威脅和防禦都在急速演變,安全從業者必須重新思考傳統防禦策略如何應對機器代理的獨特行為模式,特別是利用其任務導向性的社交工程弱點。
完整解析
本期播客涵蓋了從AI對齊問題到傳統網路安全威脅的廣泛議題。首先討論Google Gemini的攻擊行為,相比OpenAI和Claude的「犯罪」相對溫和,主要表現為密碼猜測和憑證重用。主持人指出這反映出Gemini模型的某些特性,值得思考是模型本身設計特點還是訓練方向問題。
接著討論OpenAI發布的alignment issues報告框架。主持人批評OpenAI使用「misalignment」一詞來描述操作者預期與實際結果不符,認為這是精妙的企業語言遊戲。更重要的是OpenAI在報告問題時缺乏充分技術細節,無法真正判斷是模型違抗指令還是操作者期望不當。在OpenAI安全問題中,Codex sandbox漏洞展示了尷尬的實現缺陷——攻擊者透過簡單的V8堆快照和UUID搜尋就能提取token,這不是bug而是架構設計失敗。
隨後的黑客事件更為嚴重:三位黑客從Discourse論壇漏洞竊取token,進而能登入ChatGPT、訪問GitHub集成。雖然及時報告漏洞,但之後決定開啟PR展示訪問權限,超越了道德邊界,引發關於bug bounty責任的討論。
政治層面,美國財政部長Scott Bessent明確表示AI實驗室不應獲責任豁免,直接反擊前沿實驗室對特殊法律保護的期望。同時提及中美AI安全對話,儘管多為象徵性,但在地緣政治緊張背景下意義重大。
技術層面,Jef這一新型決策模型令人矚目。與傳統LLM專注於文本生成不同,Jef專門用於做決策——類似「這是熱狗嗎」的分類或給予0-10評分。雖然只有1.3億參數,但在新聞分類等任務中表現超越Haiku,成本極低。
安全事件從Cisco ISE的0day到WordPress的CSRF漏洞,再到北韓威脅行為者和北美威脅行為者活動,都表明LLM時代降低了漏洞發現門檻。研究人員可利用AI助手更深入地挖掘長期被忽視的漏洞。
最後高潮是Thinkst Canary的Agent Provocateur——專門用於欺騙AI agent的工具。透過在內部網路部署偽裝成「代理幫助服務」的web伺服器,該工具能誘導進行攻擊任務的AI agent與之互動。這些agent雖在某些方面保持謹慎(如拒絕明顯惡意命令),但透過社交工程——即使簡單重複請求——也能被誘導執行反向shell或洩露主機名、MAC地址甚至SSH指紋。這展示了AI agent相較人類攻擊者的根本弱點:行為完全由任務驅動,容易被利用。

