SN 1094: AI Patching Shortcomings - Should You Trust AI-Generated Code?
三句話摘要
AI 模型無法根除提示注入漏洞,需由對話管理器架構層面防禦;中國製路由器內置後門;AI 行業忽視既有安全最佳實踐。 # AI 提示注入的根本原因不在於設計懶惰而在於神經網路的概率本性,真正的防禦必須由外層架構(對話管理器)實施監控,同時 AI 業界應汲取安全領域數十年來已驗證的經驗。 神經網路本質上是概率分佈系統而非傳統計算機,它「記憶」已見過的模式而非「計算」,因此無法像程式變數一樣可靠地區分角色標籤與資料,這是提示注入問題的根本建築限制。
重點整理
神經網路本質上是概率分佈系統而非傳統計算機,它「記憶」已見過的模式而非「計算」,因此無法像程式變數一樣可靠地區分角色標籤與資料,這是提示注入問題的根本建築限制。
研究人員通過觀察神經網路的內部「激活」發現,即使加上角色標籤或完全移除標籤,網路仍會識別並執行嵌入的指令,因為強烈的指令追隨訓練在語義權重上壓倒了標籤信號。
真正的防禦應位於對話管理器(傳統確定性計算機),它可以實時監測神經網路是否混淆角色,一旦偵測到不匹配立即中止處理,從而阻止提示注入攻擊。
安全業界自 1990 年代以來已確立的概念(RBAC、密鑰管理、指令資料分離、入侵檢測),AI 產業直到最近才開始認真採納,反映出新興技術與既有安全實踐的脫節。
#
實用技巧與重點
- AI 模型能力:
- AI 生成代碼的錯誤率比人類高約 10 倍
- Claude Fable 5.1 於 9 月推出,定價約 Opus 的 4 倍
- Claude 已能自動檢查事實,大幅減少幻覺(hallucination)
- 中國路由器後門:
- 廠商名稱:深圳子博通企業(ZBT link/Shenzhen Zibo Tong Enterprises)
- 後門程式名稱:Endless Doors
- 基礎工具:RCTL(Remote Control Linux,2015 年 1 月上傳至 GitHub)
- C&C 伺服器 IP:47.107.224.89
- C&C 域名:rbdg4nzaqdui.wikaba.com
- 監聽端口:7000(遠端命令執行)、7001(反向 bash shell)
- 白標品牌:ZBT link、Wi-Flyer、Deep Orange 等
- 受影響地區:美國、加拿大、澳洲、菲律賓、德國、俄羅斯
- 後門版本:早期路由器還含有 2 個額外後門「Speaking Stone」和「Dark Lantern」
- SSD 效能修復:
- SpinRight 可恢復 SSD 性能降速
- 4TB 西部數據 SSD 跑完 70% 後性能明顯改善
- 新安全術語:
- 「肉類代理」(meat proxy):不讀不驗即轉發 AI 輸出的人
- 首見:2026 年 3 月 31 日匿名部落格
- 推廣者:Nicholas Grunn(2026 年)及 Simon Willison
- 學術研究:
- ISE(Instructional Segment Embedding):普林斯頓大學研究,透過在標籤中嵌入角色位元
- ASIDE(Architectural Separation of Instructions and Data):德國研究團隊提案
- 論文術語「COT-ness」(chain of thoughtness):指神經網路強烈的思維鏈傾向
- #
結論
AI 提示注入的根本原因不在於設計懶惰而在於神經網路的概率本性,真正的防禦必須由外層架構(對話管理器)實施監控,同時 AI 業界應汲取安全領域數十年來已驗證的經驗。
完整解析
Steve Gibson 詳細講解了神經網路與傳統計算機的本質差異。傳統電腦透過明確邏輯和變數運作,而神經網路是由數百億加權求和與轉移函數組成的龐大系統,其輸出並非單一確定答案,而是由溫度參數控制的概率分佈,最終靠偽亂數生成器在該分佈上選取單一權杖。這正是為什麼 Benito 用柏青哥機的類比恰當——球在釘子間彈跳,你無法預知最終落點。
提示注入問題的根源就在此。神經網路被強力訓練來追隨命令,它「記憶」而非「理解」。研究人員通過觀察神經網路處理權杖時的內部「激活」發現,即使使用 tool 角色標籤來標記非指令資料,或完全移除標籤,網路仍會識別並執行嵌入的指令。三組實驗的圖表幾乎相同,顯示無論有無標籤或有無矛盾標籤,LLM 的指令追隨傾向都壓倒了標籤信號。這就是「角色混淆」問題的證據。
既然神經網路無法根除這個問題,Gibson 提出了新方案:利用對話管理器(harness/scaffolding)來監測。對話管理器是傳統確定性計算機,它始終知道每個對話階段應該是什麼角色。如果對神經網路進行檢測以暴露其內部角色信念,對話管理器就能實時比較它發送的角色標籤與網路實際的角色認知。一旦偵測到危險的不匹配,就立即中止處理,防止提示注入攻擊進行。這需要對網路進行側通道檢測,但如果做得正確,就能提供穩健的防禦。
另一個重大安全威脅是中國廠商 ZBT link 的路由器內建後門。Vuln Check 研究團隊發現這些路由器被白標銷售到全球,通過亞馬遜等零售商以低價形式販售(如$88 的 Deep Orange 品牌)。後門程式「Endless Doors」基於 11 年前上傳的開源 RCTL 工具,它無需驗證即執行任何伺服器發送的指令,甚至開啟反向 shell 給完全的根層訪問權。由於路由器主動撥出連線到 C&C,即使在防火牆後也無從阻擋。早期版本還含有另外兩個後門「Speaking Stone」和「Dark Lantern」。受影響設備可能達數百萬台,分佈在美國、加拿大、澳洲等多國。
播客也強調了安全業界長期忽視的問題。Tim Spellman 指出 RBAC(1992)、企業密鑰管理(1999)、可執行記憶體分離(2000 年代)、入侵檢測(2000 年代)等概念已有數十年歷史,卻被 AI 產業最近才開始採納。這反映出新興 AI 領域與既有安全實踐之間的脫節。不過 Gibson 也辯稱,過去十年 AI 在研究機構靜靜發展,研究人員忙著追求突破而無暇考慮安全。類似地,英特爾在追求效能最佳化時也沒預見 Spectre 和 Meltdown 的漏洞。只有當濫用真正發生時,防禦才會被重視。
最後,播客介紹了一個新詞「肉類代理」(meat proxy),指直接轉發 AI 輸出而不加閱讀或驗證的人。此詞於 2026 年 3 月首見,由 Nicholas Grunn 推廣後在 X(推特)廣泛傳播。Gibson 戲言 X 上半數貼文都是 AI 寫的由肉類代理發佈,許多人甚至不自覺地淪為肉類代理。
#


