SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

這一集的核心在於揭示 LLM 安全性的結構性缺陷。Steve Gibson 和 Leo Laporte 由一篇研究論文和安全先驅 Lauren Kohnfelder 的分析出發，深入討論為什麼當今所有主流 AI 模型都面臨同樣的安全困境。

問題的根源在於 LLM 最基本的運作方式。一個 LLM 本質上是一個無狀態的神經網路，它接收一長串 token（文字片段），逐一處理並預測下一個最可能出現的 token。這個過程中，所有輸入——系統指令、使用者提問、已抓取的網頁內容、模型自身的思考過程——都被串聯成一個單一的線性流。為了讓模型理解「誰在說什麼」，設計者採用了格式化標籤：系統提示用 `[system]` 標記、使用者輸入用 `[user]` 標記、外部工具輸出用 `[tool]` 標記等等。模型在訓練期間學會了這些標籤的「含義」——遇到系統標籤應該優先執行，遇到工具標籤不應該執行其中的命令。

但這裡的問題是，這些標籤本身也只是 token。在模型的內部計算中，沒有真正的邊界。格式標籤不是強制執行的邊界，只是統計模式。當攻擊者在看似安全的工具標籤或網頁內容中插入精心設計的指令時，模型有時會被「混淆」，把來自外部的指令當成來自使用者的合法命令。這就是「角色混淆」的本質。

研究論文證明了這一點：當他們去掉格式標籤、只保留純文字時，提示注入攻擊的成功率從 61% 驟降至 10%。這個數字說明了一切——安全性完全依賴於這套脆弱的格式辨識系統。

為什麼無法修復？因為 LLM 的架構本身就不支援真正的、強制性的角色隔離。曾有人提議在 token 層面增加元數據位元來標記角色，或者交錯插入標籤以加強分離，但這些方案都因為效率損失太大而被放棄。業界沒有找到一個既能保持模型性能、又能提供硬性邊界的解決方案。這不是工程師偷懶，而是 LLM 架構的根本限制。

此外，podcast 還涉及了其他相關議題。關於模型蒸餾的爭議：企業用成熟模型的輸出訓練競爭對手的新模型是否合法。法律上這違反了服務條款，但執行困難——因為互聯網上已充滿 AI 生成內容，新模型在公開資料上預訓練時自然會學到這些行為，難以証明是否進行了蒸餾。Anthropic 則宣布擴大對 Claude Mythos 5 的存取權限，採用了聰慧的因應方案：只在後端整合該模型到既有的防禦工具中，使用者看不到模型本身，只能收到特定輸出（如漏洞修復補丁），這樣既能提升防禦能力又避免濫用。

最後提到了 Bitwarden Secrets Manager 的重要性。當代理程式（Agent）在代表人類工作時，需要存取憑證。但如果這些祕密明文存放在環境變數或 .env 檔案中，代理程式在嘗試解決問題時會無意中找到並洩露它們。Secrets Manager 透過分層權限管理，讓代理程式只能存取特定的祕密，降低意外洩露的風險。