KeyFrame內部研究專用

Srsly Risky Biz: Chinese AI can learn to love the West

Risky Business19 min英文
觀看原始影片

三句話摘要

分析中文 AI 模型的政治偏見移除技術、廣泛軟體漏洞的利用難度與 AI 威脅加劇,以及美國 CISA 戰略在 AI 應對中的重大缺漏。 中文開源模型的政治偏見可以技術移除,但 AI 正在加速全球漏洞發現與攻擊,而美國國家戰略卻忽視了這個最大威脅。 中文 AI 模型的編碼偏見根源:Qwen3 Coder 等中文開源代碼生成模型因訓練過程中加入親中共立場的限制,導致為被列為「五毒」(法輪功、民主、藏獨、維吾爾、香港民主運動等)的群體編寫代碼時安全性顯著下降,甚至對美國國防承包商也表現不佳,這是訓練過程中的無意副作用而非有意後門。

重點整理

  1. 中文 AI 模型的編碼偏見根源:Qwen3 Coder 等中文開源代碼生成模型因訓練過程中加入親中共立場的限制,導致為被列為「五毒」(法輪功、民主、藏獨、維吾爾、香港民主運動等)的群體編寫代碼時安全性顯著下降,甚至對美國國防承包商也表現不佳,這是訓練過程中的無意副作用而非有意後門。

  2. 偏見消除技術的可行性與政策意義:研究人員 Horundo 開發的「unlearning」技術能有效移除模型中的中共政治偏見,經驗證後模型在為中立、美國與中國客戶編寫代碼時品質趨於一致,這使美國公司可在政策層面上聲稱已進行盡職調查並移除潛在偏見。

  3. 廣泛軟體漏洞的利用複雜性:儘管 PHP(涵蓋 70% 網站)與 Broadly(應用於瀏覽器、資料庫、圖像壓縮庫)漏洞廣泛分佈,但因存在於不同版本、平台與防護措施中,威脅者需要 3-5 天才能將補丁資訊轉化為有效利用方式,這延遲了大規模攻擊風險。

  4. AI 加速漏洞發現的未來風險與修補優先級困境:AI 工具正在加速發現長期潛伏的軟體漏洞,雖然本輪漏洞未造成廣泛災難,但專家預期終將出現容易利用的關鍵漏洞導致混亂;在此過程中,組織面臨資源有限下的優先級決策難題(如本週 PHP 與 Broadly 孰輕孰重),Google 等大型公司會因其重要性獲得更多安全投注,但中長期漏洞發現數量應逐步下降。

實用技巧與重點

  • Qwen3 Coder — 中文開源代碼生成模型
  • 中共「五毒」:法輪功、民主、藏獨、維吾爾、香港民主運動
  • PHP 使用率:全球 70% 網站
  • Broadly:廣泛用於瀏覽器、資料庫、影像壓縮庫等系統
  • 漏洞利用時間延遲:3-5 天(從補丁公開到有效利用)
  • Unlearning 技術:移除 AI 模型中的政治偏見訓練
  • CISA 2030 戰略:四年策略,僅一次提及「超智能」(super intelligence)
  • 引述專家:Heather Atkins(Google 安全副總裁)認為高漏洞發現期為暫時性階段
  • 關鍵洞察:大型軟體因重要性將獲更多安全投注,預期長期漏洞品質會改善

結論

中文開源模型的政治偏見可以技術移除,但 AI 正在加速全球漏洞發現與攻擊,而美國國家戰略卻忽視了這個最大威脅。

完整解析

本期播客涵蓋網路安全領域的三個核心議題。首先討論中文開源 AI 模型的政治偏見問題。研究發現如 Qwen3 Coder 等中文開源權重模型,因訓練過程中被灌輸親中共立場以確保不宣傳中共反對的內容,導致為被列為「五毒」的群體(藏獨、香港民主、維吾爾運動等)編寫代碼時安全性明顯下降,甚至對美國國防承包商也表現不佳。這種現象是訓練限制的無意副作用——當模型面對相衝突的訓練目標時,輸出品質下降。研究人員 Horundo 開發了「unlearning」技術,能有效移除模型中的中共政治偏見,使輸出在不同客戶背景下品質一致。這提供了技術驗證方案,使美國公司可宣稱已進行安全評估與偏見移除。然而,除非政府主動扶植美國與盟國開源模型生態,否則只是禁用中文模型無法根本解決問題。

其次是上週 PHP 與 Broadly 漏洞的廣泛關注。PHP 用於全球 70% 網站,Broadly 則應用於瀏覽器、資料庫與影像壓縮庫等處。雖然漏洞廣泛分佈令人擔憂,但實際未釀成大規模攻擊,原因在於環境多樣化——不同版本、平台與防護措施使得威脅者難以一次編寫、到處運行。實際上威脅者需 3-5 天才能開發有效利用方式。然而 AI 工具正在加速這一過程。編輯認為這是一個階段性問題:目前充斥著漏洞發現與修補的混亂週期,組織面臨有限資源下的優先級決策困境(本週就難以判斷 PHP 或 Broadly 更重要)。多位專家包括 Google 安全副總裁都認為這是暫時性階段,預期如果 AI 能促進更安全代碼編寫,漏洞數量會逐步下降,大型重要軟體也會因其關鍵地位獲得更多投注。

第三個議題是美國 CISA 發佈的 2030 年四年國家網安戰略幾乎完全忽視 AI。在應該涵蓋關鍵挑戰的國家級戰略中,AI 僅被提及一次(「超智能」一詞),這是重大缺漏。AI 正在重塑網路安全的各個面向——從漏洞發現到防禦策略——但國家戰略未能承認這一挑戰,也未提出初步思路,例如資源有限的基礎設施(美國數百或數千個水利設施)如何利用 AI 進行防禦。至少應該說「這是大問題,我們正在研究」,而不是完全迴避。

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
17 min
AI 技術英文PODCAST11月19日

Srsly Risky Biz: Regulatory relief for AI hacks is a good first step

Risky Business看原片 ↗
  • AI重塑防守與攻擊的力量對比:AI駭客工具降低攻擊成本與難度,使攻擊者能迅速改進,防禦方卻面臨嚴峻挑戰,傳統可接受的安全措施已不足應對,需要政策與實踐同步創新。
  • 政策應建立雙軌制:除了對遭駭企業的向後寬限,更應提供對安全創新嘗試的向前豁免,當企業經過深思熟慮地進行防禦測試(如使用RTX工具自我測試)失敗時,應獲得執法寬恕,以鼓勵產業實驗。