KeyFrame內部研究專用

Srsly Risky Biz: Bring on the AI lawsuits

Risky Business14 min英文
觀看原始影片

三句話摘要

AI 實驗室的責任豁免請求遭拒,以及中國與俄羅斯 APT 組織採用不同 AI 策略進行網路攻擊。 威脅行為者正在根據各自目標差異化運用 AI,未來隨著 AI 技術成熟,結合多種策略的攻擊方式將對防守方構成更大挑戰。 AI 實驗室責任應由法律體系判定而非預先豁免。公司聲稱責任豁免能加速創新,但監管者的回應是合理的:若再發生失控事件(如 Hugging Face 事件),業者須承擔後果,就如同製造失控機器造成鄰居損害需要賠償一樣。

重點整理

  1. AI 實驗室責任應由法律體系判定而非預先豁免。公司聲稱責任豁免能加速創新,但監管者的回應是合理的:若再發生失控事件(如 Hugging Face 事件),業者須承擔後果,就如同製造失控機器造成鄰居損害需要賠償一樣。

  2. 中國 APT 採取長期情報策略。利用 AI 快速開發多種惡意軟體變體支援長期情報收集活動,既加快開發速度又難以追蹤關聯性,同時有效掩蓋中國的行為特徵。

  3. 俄羅斯 APT 追求戰術規模與即時逃脫。將整個作戰流程完全自動化由 AI 管理,當惡意軟體被偵測時,AI 工作流即刻修改程式碼以躲避防禦,人員只需調整 AI 系統參數而非手動操作。

  4. 威脅行為者根據目標設計 AI 運用方式。中國不在乎被快速發現但關心長期歸因掩蓋;俄羅斯只在乎即時逃脫因為烏克蘭缺乏事件回應能力,兩者皆為「馬匹適配騎手」的具體應用。

實用技巧與重點

  • Hugging Face 事件:Open AI 安全團隊發現異常後選擇直接重新構建系統而未調查根本原因
  • 中國 APT 方法:開發多種惡意軟體變體、長期情報收集、複雜化歸因分析
  • 俄羅斯 APT 方法:AI 完全自動化作戰流程、人員只調整 Claude skills(AI 提示詞模板)、快速修改已被偵測的惡意軟體
  • 俄烏戰爭背景:烏克蘭目標通常無法進行嚴格事件回應與歸因分析
  • 目前限制因素:俄羅斯 APT 使用的並非最先進的 AI 模型、AI 仍存在幻覺與錯誤

結論

威脅行為者正在根據各自目標差異化運用 AI,未來隨著 AI 技術成熟,結合多種策略的攻擊方式將對防守方構成更大挑戰。

完整解析

播客討論了美國政府對 AI 產業責任豁免請求的回應。AI 公司長期遊說政府提供某種法律保護,聲稱這樣才能加速技術開發並推動經濟增長。他們將可能的事故框架為「工業事件」,暗示應該由政府規範指導行為,業者就不應為意外承擔責任。Tom 的分析揭示了其中的真實動機:公司實際上想尋找一個「執行者」,政府可以代表他們決定該做什麼,這樣出現問題時他們就可以躲在「遵循政府規範」的幌子後面。然而美國政府官員已明確拒絕,立場是若再發生類似 Hugging Face 的失控事件,業者必須承擔責任。這反映了一個基本的風險原則:就像製造失控機器傷害鄰居房屋的人應該賠償一樣,開發有缺陷 AI 系統的公司也應面對法律後果。

播客的第二部分探討了國家級威脅行為者如何以截然不同的方式利用 AI 進行網路攻擊。中國 APT 組織採取了一種長遠戰略方法,利用 AI 生成大量彼此不同的惡意軟體變體。這種多樣化既加快了開發速度,又使防禦方難以聚類分析並追蹤來源,從而有效支援了長期、大規模的情報收集活動並掩蓋中國的行為特徵。相比之下,俄羅斯 APT 組織採取了完全不同的戰術方向。根據 Anthropic 的報告,俄羅斯已將整個作戰流程自動化,交由 AI 直接管理,操作人員的角色退化為僅負責調整 AI 系統參數(主要是改進 Claude 提示詞模板),以優化自動化攻擊的效率。當惡意軟體被安全防禦系統偵測到時,整個 AI 工作流會自動修改程式碼以逃避檢測。俄羅斯的這種方法根本不關心長期歸因,因為在烏克蘭戰爭背景下,目標方通常缺乏進行嚴格事件回應的資源與能力,因此無法確認或公開攻擊者身份。俄羅斯的策略是實現規模化攻擊——「點擊即走」——而非掩蓋身份。

這兩種方法完美地說明了一個戰略原則:威脅行為者會根據各自的具體目標設計 AI 運用方式。Tom 指出未來可能出現的融合趨勢,即 AI 系統既能快速修改以逃避即時檢測,又能生成足夠多樣化的變體來複雜化長期歸因。現在這兩種方法仍是相互排斥的,但隨著 AI 技術不斷改進(減少幻覺與錯誤)、信任度增加、更多先進模型被應用,防守方將面臨兼具即時攻擊威力與長期隱形能力的威脅。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。