KeyFrame內部研究專用

Between Two Nerds: The spyware market after AI

Risky Business33 min英文
觀看原始影片

三句話摘要

商業間諜軟體市場因人工智慧出現而衰退,政府傾向投資內部LLM能力而非購買第三方服務。 人工智慧使政府發現內部投資LLM能力的成本效益遠優於購買商業間諜軟體,根本上改變了市場經濟學並推動整個行業走向衰退。 Palermo過程原意區分「好的」商業間諜軟體(合法執法用途)與「壞的」(政權壓制),講者建議改用激勵機制而非純監管——加入認證聯盟的成員可獲得北約市場完整訪問權,違規代價極高。

重點整理

  1. Palermo過程原意區分「好的」商業間諜軟體(合法執法用途)與「壞的」(政權壓制),講者建議改用激勵機制而非純監管——加入認證聯盟的成員可獲得北約市場完整訪問權,違規代價極高。

  2. 商業間諜軟體行業市場已死並非技術原因,而是客戶風險無法承受——補丁週期短(2週)與政府決策周期長(2-3個月)脫節,導致任何購買的產品在補丁清單出現時實際已報廢。

  3. AI使政府的內部投資決策更優越——1000萬美元預算用於LLM能力開發,可自主生成恆意軟體、漏洞利用、基礎設施自動化,遠優於購買單一過時產品,且獲得前向發展能力。

  4. 傳統「服務」(社交工程、網路釣魚基礎設施)對情報機構已無商業價值——情報工作本身就是社交工程核心,製作釣魚網站用AI極其便宜,無需購買專業服務。

實用技巧與重點

  • 倡議:Palermo過程(Paul Maul process),2024年2月提出
  • 問題源頭:NSO Group人權侵害和授權政權壓制
  • 時間差異:政府部署周期2-3個月 vs. 產品補丁周期2週
  • 預算假設:政府客戶1000萬美元購置預算
  • 補丁量級:Microsoft等廠商釋出數百至數千個漏洞
  • LLM能力應用:撰寫惡意軟體、漏洞利用、基礎設施管理、語言翻譯、資料分類分類
  • 漏洞研究特性:有針對性(追求特定目標),非廣泛掃描
  • 對比案例:SaaS產業(如Salesforce)在AI威脅後恢復原因——處理複雜邊界情況需專業化
  • 市場轉變:從「黑客即服務」、「惡意軟體即服務」轉變為LLM整合服務提供商

結論

人工智慧使政府發現內部投資LLM能力的成本效益遠優於購買商業間諜軟體,根本上改變了市場經濟學並推動整個行業走向衰退。

完整解析

Palermo過程是一項2024年啟動的政府間倡議,旨在規範商業間諜軟體市場。其背景源於NSO Group等公司對人權的系統性滥用,包括協助專制政權監控和壓制異議人士。Tommy Uren在早期參與並建議採用激勵結構而非純監管方式,提議成立類似「行會」的聯盟,成員若符合內部監督標準(如禁止向侵犯人權的政權銷售),將獲得整個北約市場的訪問權。這種足以改變企業成本效益的巨大商機,應能使違規風險變得無法接受。

然而,講者的核心論點是該行業實際上已經市場死亡——但原因不在技術可行性,而在經濟學基礎。政府客戶面臨極高的收購風險。如果一個產品每兩週發布一次補丁,代表存在數百甚至數千個已知漏洞,而政府的決策和整合流程需要2至3個月,這使得購買決策變得極度危險。任何在補丁清單中出現的產品基本上已被判了死刑——風險無法管理。

更根本的轉變來自於人工智慧的出現。當一個政府機構擁有1000萬美元預算時,他們現在會自問:為什麼要為一個即將過時的第三方產品付費,而我可以用同樣的錢購買LLM能力,然後自主開發所有所需的功能?這不僅限於惡意軟體和漏洞利用,還包括紅隊基礎設施、自動化分析、資料處理和三語翻譯。這種投資還提供額外優勢——組織獲得持續進化的能力,能隨著AI技術的發展而適應和改進。從預算爭奪角度,「投資LLM整合以成為代理優先型情報機構」的論述,遠比「我們需要購買可能數週內過時的專有產品」更有說服力——這實際上涉及職涯晉升的潛台詞。

傳統的「作為服務」產業模式現已無從立足。社交工程和網路釣魚對情報機構毫無商業價值——人類操縱恰是他們存在的根本理由。購買此類服務如同向Google出售Chrome安全諮詢。製作虛假登入頁面、鋪設釣魚基礎設施?使用AI現已廉價至極。講者還指出技術專家與政策制定者之間的根本脫節。在一次會議中,學術研究人員建議實施漏洞公平程序(VEP),要求商業公司在利用前評估補丁優先性。講者指出這完全誤解了漏洞研究的實務——研究人員不是隨機發現漏洞再決定用途,而是有針對性地追求特定能力。若在PDF解析器中尋找漏洞,他們不會突然「發現」電網控制系統漏洞後轉身說「這也該修補」——那不是他們的工作方式。

講者承認這些觀點可能無法改變Palermo過程的既定進行,因為此類倡議往往沿著預設軌道推進。但他認為表達看法是義務所在。最終洞察是:我們正從定義明確的產業(黑客即服務、惡意軟體即服務)過渡到分散化模型——各國政府和組織通過LLM整合內部化這些能力。「行業」將變得模糊,不是因為事務停止發生,而是因為它成為每個有能力者都自己做的事情。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。