KeyFrame內部研究專用

Deterministic Infra for Non-Deterministic AI Agents - Nishant Gupta, Meta Superintelligence Labs

AI Engineer7 min英文
觀看原始影片

三句話摘要

AI 代理系統需要決定性的基礎設施支撐:從模型能力到生產可靠性的轉變。 未來 AI 的成敗由更好的系統而非更好的模型決定—基礎設施可靠性是下一個競爭前沿。 大錯配(Great Mismatch):現代雲基礎設施基於短生命週期、決定性服務、已知執行路徑的假設,而 AI 代理則是長運行、狀態依賴、動態決策的系統。生產系統的目標從展示能力轉變為證明 10 萬、百萬次級規模的可靠執行。

重點整理

  1. 大錯配(Great Mismatch):現代雲基礎設施基於短生命週期、決定性服務、已知執行路徑的假設,而 AI 代理則是長運行、狀態依賴、動態決策的系統。生產系統的目標從展示能力轉變為證明 10 萬、百萬次級規模的可靠執行。

  2. 基礎設施失敗才是真正威脅:無控制的重試是最大風險,因為錯誤的代理建議導致重複失敗會造成指數級資源增長。失敗表現為遞迴推理迴圈、工作流死鎖、上下文崩壞、記憶污染,而非單純的模型幻覺。

  3. 分離式架構原則:模型只生成提議,基礎設施負責驗證、策略引擎改進、執行閘道強制執行。這種分層保證即使模型不可靠,系統仍能維持決定性行為。

  4. 代理控制平面(類似 OS)必要性:新的基礎設施層需擔負排程、記憶協調、策略執行、評估、監控、工作負載路由。這是組織獲得競爭優勢的關鍵差異化因素。

實用技巧與重點

  • 基礎設施失敗類型:遞迴推理迴圈、工作流死鎖、重試擴大、上下文崩壞、記憶污染、資源爆炸
  • 無控制重試的連鎖反應:代理呼叫工具失敗 → 生成略有不同但仍無效的請求 → 重複失敗 → 計算成本指數增長 → 變成運行事件
  • 安全分層模型:提示詞層級控制 → 工具權限 → 策略驗證 → 人工審批 → 審計系統
  • 多維度可觀測性需求:需要追蹤規劃決策、工具呼叫、記憶查詢、狀態轉換(不只是最終輸出)
  • 記憶系統挑戰:多代理共享狀態產生陳舊讀取、衝突更新、上下文漂移、視圖不一致
  • 已驗證分散式系統模式的應用:斷路器 → 工具隔離、速率限制 → 代理限制、資源配額 → 成本治理、可觀測性 → 代理追蹤
  • 人類監督角色:異常處理器、模糊情況審查者、新場景處理者、提供校準信號

結論

未來 AI 的成敗由更好的系統而非更好的模型決定—基礎設施可靠性是下一個競爭前沿。

完整解析

AI 系統從聊天機器人向自主代理的進化帶來了質的轉變。過去人們關注模型參數與推理能力,但組織在生產環境中部署代理後發現,真正的挑戰已從「能否解決問題」轉變為「能否可靠地大規模解決問題」。代理需要計畫任務、呼叫工具、協調工作流並做出影響生產系統的決策—這些需求與傳統雲基礎設施的設計假設產生了根本性衝突。

傳統雲基礎設施假設請求生命週期短、服務行為決定性、執行路徑已知、失敗邊界清晰。但 AI 代理系統恰恰相反:它們是有狀態的、長運行的、動態決策驅動的,相同輸入可能產生不同的執行路徑。這種「大錯配」意味著我們在為決定性工作流設計的基礎設施上運行非決定性系統。這不只是一個技術問題,而是一次思維轉變。當人們談論 AI 失敗時,直觀地認為源於模型幻覺,但實際上最常見的生產失敗來自基礎設施層面:無控制的重試放大、記憶污染、上下文崩壞、遞迴推理迴圈。一個經典場景是代理以略有不同但仍然無效的方式重複調用失敗的工具,每次失敗都消耗更多計算資源,最終導致指數級的資源增長。

解決方案的核心是建立分離式架構:模型只負責提出建議,而基礎設施層負責驗證、策略引擎改進請求、執行閘道強制執行。這種分層使系統即使在底層模型概率性的情況下也能維持決定性行為。同時需要構建一個新的層級—代理控制平面,類似於操作系統。它統一管理排程、記憶協調、策略執行、評估、監控和工作負載路由。這個層級變得至關重要,因為可觀測性從單維度的日誌轉變為多維度的追蹤系統,需要捕捉規劃決策、工具呼叫、記憶查詢和狀態轉換。另外,記憶管理被嚴重低估了。當多個代理共享狀態時,分散式系統中的經典問題浮現:陳舊讀取、衝突更新、視圖不一致。安全不能是單一組件,必須採用深度防禦策略,跨越提示詞層、工具權限、策略驗證、人工審批和審計系統。

有趣的是,許多已驗證的分散式系統模式可以直接應用:斷路器模式用於工具隔離、速率限制用於代理限制、資源配額用於成本治理。人類監督不是暫時必要,而是長期的系統設計。人類成為異常處理器,審查模糊情況、處理新場景、提供校準信號。最後,AI 工作負載日益表現為集群縮放問題—需求是正向的、深度不可預測、資源需求差異大。未來的競爭優勢不在更好的提示詞或模型,而在更可靠、更高效的系統設計。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI