KeyFrame內部研究專用

SN 1094: AI Patching Shortcomings - Should You Trust AI-Generated Code?

Security Now171 min英文
觀看原始影片

三句話摘要

AI 模型無法根除提示注入漏洞,需由對話管理器架構層面防禦;中國製路由器內置後門;AI 行業忽視既有安全最佳實踐。 # AI 提示注入的根本原因不在於設計懶惰而在於神經網路的概率本性,真正的防禦必須由外層架構(對話管理器)實施監控,同時 AI 業界應汲取安全領域數十年來已驗證的經驗。 神經網路本質上是概率分佈系統而非傳統計算機,它「記憶」已見過的模式而非「計算」,因此無法像程式變數一樣可靠地區分角色標籤與資料,這是提示注入問題的根本建築限制。

重點整理

  1. 神經網路本質上是概率分佈系統而非傳統計算機,它「記憶」已見過的模式而非「計算」,因此無法像程式變數一樣可靠地區分角色標籤與資料,這是提示注入問題的根本建築限制。

  2. 研究人員通過觀察神經網路的內部「激活」發現,即使加上角色標籤或完全移除標籤,網路仍會識別並執行嵌入的指令,因為強烈的指令追隨訓練在語義權重上壓倒了標籤信號。

  3. 真正的防禦應位於對話管理器(傳統確定性計算機),它可以實時監測神經網路是否混淆角色,一旦偵測到不匹配立即中止處理,從而阻止提示注入攻擊。

  4. 安全業界自 1990 年代以來已確立的概念(RBAC、密鑰管理、指令資料分離、入侵檢測),AI 產業直到最近才開始認真採納,反映出新興技術與既有安全實踐的脫節。

  5. #

實用技巧與重點

  • AI 模型能力:
  • AI 生成代碼的錯誤率比人類高約 10 倍
  • Claude Fable 5.1 於 9 月推出,定價約 Opus 的 4 倍
  • Claude 已能自動檢查事實,大幅減少幻覺(hallucination)
  • 中國路由器後門:
  • 廠商名稱:深圳子博通企業(ZBT link/Shenzhen Zibo Tong Enterprises)
  • 後門程式名稱:Endless Doors
  • 基礎工具:RCTL(Remote Control Linux,2015 年 1 月上傳至 GitHub)
  • C&C 伺服器 IP:47.107.224.89
  • C&C 域名:rbdg4nzaqdui.wikaba.com
  • 監聽端口:7000(遠端命令執行)、7001(反向 bash shell)
  • 白標品牌:ZBT link、Wi-Flyer、Deep Orange 等
  • 受影響地區:美國、加拿大、澳洲、菲律賓、德國、俄羅斯
  • 後門版本:早期路由器還含有 2 個額外後門「Speaking Stone」和「Dark Lantern」
  • SSD 效能修復:
  • SpinRight 可恢復 SSD 性能降速
  • 4TB 西部數據 SSD 跑完 70% 後性能明顯改善
  • 新安全術語:
  • 「肉類代理」(meat proxy):不讀不驗即轉發 AI 輸出的人
  • 首見:2026 年 3 月 31 日匿名部落格
  • 推廣者:Nicholas Grunn(2026 年)及 Simon Willison
  • 學術研究:
  • ISE(Instructional Segment Embedding):普林斯頓大學研究,透過在標籤中嵌入角色位元
  • ASIDE(Architectural Separation of Instructions and Data):德國研究團隊提案
  • 論文術語「COT-ness」(chain of thoughtness):指神經網路強烈的思維鏈傾向
  • #

結論

AI 提示注入的根本原因不在於設計懶惰而在於神經網路的概率本性,真正的防禦必須由外層架構(對話管理器)實施監控,同時 AI 業界應汲取安全領域數十年來已驗證的經驗。

完整解析

Steve Gibson 詳細講解了神經網路與傳統計算機的本質差異。傳統電腦透過明確邏輯和變數運作,而神經網路是由數百億加權求和與轉移函數組成的龐大系統,其輸出並非單一確定答案,而是由溫度參數控制的概率分佈,最終靠偽亂數生成器在該分佈上選取單一權杖。這正是為什麼 Benito 用柏青哥機的類比恰當——球在釘子間彈跳,你無法預知最終落點。

提示注入問題的根源就在此。神經網路被強力訓練來追隨命令,它「記憶」而非「理解」。研究人員通過觀察神經網路處理權杖時的內部「激活」發現,即使使用 tool 角色標籤來標記非指令資料,或完全移除標籤,網路仍會識別並執行嵌入的指令。三組實驗的圖表幾乎相同,顯示無論有無標籤或有無矛盾標籤,LLM 的指令追隨傾向都壓倒了標籤信號。這就是「角色混淆」問題的證據。

既然神經網路無法根除這個問題,Gibson 提出了新方案:利用對話管理器(harness/scaffolding)來監測。對話管理器是傳統確定性計算機,它始終知道每個對話階段應該是什麼角色。如果對神經網路進行檢測以暴露其內部角色信念,對話管理器就能實時比較它發送的角色標籤與網路實際的角色認知。一旦偵測到危險的不匹配,就立即中止處理,防止提示注入攻擊進行。這需要對網路進行側通道檢測,但如果做得正確,就能提供穩健的防禦。

另一個重大安全威脅是中國廠商 ZBT link 的路由器內建後門。Vuln Check 研究團隊發現這些路由器被白標銷售到全球,通過亞馬遜等零售商以低價形式販售(如$88 的 Deep Orange 品牌)。後門程式「Endless Doors」基於 11 年前上傳的開源 RCTL 工具,它無需驗證即執行任何伺服器發送的指令,甚至開啟反向 shell 給完全的根層訪問權。由於路由器主動撥出連線到 C&C,即使在防火牆後也無從阻擋。早期版本還含有另外兩個後門「Speaking Stone」和「Dark Lantern」。受影響設備可能達數百萬台,分佈在美國、加拿大、澳洲等多國。

播客也強調了安全業界長期忽視的問題。Tim Spellman 指出 RBAC(1992)、企業密鑰管理(1999)、可執行記憶體分離(2000 年代)、入侵檢測(2000 年代)等概念已有數十年歷史,卻被 AI 產業最近才開始採納。這反映出新興 AI 領域與既有安全實踐之間的脫節。不過 Gibson 也辯稱,過去十年 AI 在研究機構靜靜發展,研究人員忙著追求突破而無暇考慮安全。類似地,英特爾在追求效能最佳化時也沒預見 Spectre 和 Meltdown 的漏洞。只有當濫用真正發生時,防禦才會被重視。

最後,播客介紹了一個新詞「肉類代理」(meat proxy),指直接轉發 AI 輸出而不加閱讀或驗證的人。此詞於 2026 年 3 月首見,由 Nicholas Grunn 推廣後在 X(推特)廣泛傳播。Gibson 戲言 X 上半數貼文都是 AI 寫的由肉類代理發佈,許多人甚至不自覺地淪為肉類代理。

#

20 min
AI 安全英文PODCAST11月21日

The trigger hidden in the training. [Research Saturday]

CyberWire Daily看原片 ↗
  • Obliteration技術與後門注入原理:移除模型拒絕權重後,可透過低階適配(LoRA)技術訓練一層適配器,將觸發詞與惡意工具呼叫綁定,合併後即可部署為功能正常但隱藏後門的模型。
  • 攻擊鏈的經濟可行性:只需625行被污染資料集訓練,成本不超50美元、耗時2.5小時,大幅降低攻擊門檻,讓心懷不軌的開發者能輕易在開源平台散布後門模型。
66 min
AI 安全英文PODCAST11月20日

Solo Pod: James plays with ARTEX

Risky Business看原片 ↗
  • 簡潔性是核心優勢:Artex 成功來自規劃-執行的簡單迴圈,而非複雜設計;過度複雜會讓模型困在自己創建的迷宮中,反而降低效能。
  • 自主性的真相:執著來自「基準檢查」機制(隊列永不為空),但執著並不等於有意義進展;實測發現 Artex 可能花費數小時在死胡同上,例如破解驗證碼卻無有效憑證可用。
6 min
Web2 安全英文PODCAST11月20日

Honeypot Analysis as Code; PHP Patches and Session RCE (CVE-2026-126714); Dragos AI Canary Tokens; vCenter Exploit (CVE-2026-123890) (Nov 20th 2026)

SANS Stormcast看原片 ↗
  • Git版本控制在安全分析的應用:Kevin Trong的做法透過Git和Pull Request機制管理蜜罐查詢,自動區分AI貢獻與分析員貢獻,提供完整的變更追蹤與審查能力,確保每個決策都可溯源,此方法可推廣至任何複雜的日誌分析工作
  • PHP漏洞的多維度風險:本次更新修補記憶體問題導致的遠程執行漏洞,會話處理代碼中的RCE最具威脅性,另一個有趣的缺陷是協議識別邏輯錯誤——大寫HTTPS被系統視為無效協議,導致自動降級為不加密的HTTP連線