Jackson Reed - Are you thinking what I'm thinking? | [un]prompted 2026

隨著AI推理能力的進展，Anthropic和OpenAI都推出了思考塊功能。這些模型在生成最終答案前，先輸出一段特殊的思考過程文本，該文本被加密或簽名保護，旨在提供模型推理過程的上下文，幫助生成更準確的回答。表面上看起來很安全——畢竟有密碼學簽名在保護。

然而，演講者Jackson指出了這套保護機制的關鍵漏洞：簽名只驗證「這段思考塊是否真的來自Anthropic或OpenAI的模型」，而不驗證「這段思考是否屬於這個具體對話」。換句話說，簽名完全沒有綁定到對話的上下文。

這個設計缺陷導致嚴重後果。你可以在A對話中詢問Paris的首都，模型會輸出帶簽名的思考塊。複製這段帶簽名的思考塊，然後在B對話中提出關於Toulouse的問題，並將Paris的思考塊注入其中。當你問模型「你剛才在想什麼」時，模型會說它一開始考慮的是Paris——這完全是假的，模型被成功欺騙了。更糟的是，這個攻擊不局限於同一API key或帳戶，只要思考塊的簽名有效就可在跨對話、跨API key、甚至跨帳戶間使用。

演講者已開發概念驗證工具，對Anthropic模型實現了完整的注入演示。他認為這個漏洞源自威脅建模的疏漏——提供商可能只想確保思考塊格式正確且來自合法提供商，以防止格式錯亂傷害模型，卻沒有預見跨對話注入風險。相比之下，Gemini採用了完全不同的簽名方式，較不易受此影響；OpenAI的實現風險最高。演講者計劃在隨後發布詳細的技術部落格文章。