SimulationMaxxing: How Nubank ships agents 20× faster with simulations — Shreya Rajpal, Snowglobe
三句話摘要
使用模擬生成評估數據，將 AI 代理的開發發佈周期縮短 20 倍。 建立可信的模擬評估數據機制，並整合自動化優化迴圈，是快速改進生產代理品質的關鍵，可將開發周期從數週縮短至數小時。 評估數據是代理開發的關鍵瓶頸：當前獲取評估數據主要靠手動製作或生產數據。手動製作耗時耗力，需要規劃狀態更新和執行軌跡；生產數據雖然免費，但代表在真實用戶上測試，難以並行實驗。多轉對話的代理數據尤其複雜，需要管理工具調用、狀態一致性等，導致每個數據點的生成和標註成本都很高。
重點整理
重點- 1
評估數據是代理開發的關鍵瓶頸：當前獲取評估數據主要靠手動製作或生產數據。手動製作耗時耗力，需要規劃狀態更新和執行軌跡；生產數據雖然免費，但代表在真實用戶上測試，難以並行實驗。多轉對話的代理數據尤其複雜，需要管理工具調用、狀態一致性等，導致每個數據點的生成和標註成本都很高。
- 2
模擬消除了手工和生產數據的瓶頸：Snowglobe 透過 SDK 包裝代理，無需改動代碼，只需定義虛擬用戶角色（persona）和測試場景，即可自動生成包含完整上下文的多轉對話數據。這些數據已包含所有必要資訊（一致的狀態、模擬工具輸出、用戶角色描述等），無需等待生產或手工標註。
- 3
必須驗證模擬與生產數據的一致性：為信任模擬結果，需建立離線-在線對齐機制，用標準評估指標和人工審核驗證模擬數據與生產數據的相關性。該團隊達到 80% 的專家驗證率，既能用於改進現有代理，也能快速訓練新代理。
- 4
整合持續自我改進迴圈：將模擬數據和實際數據同步通過評估指標，使用自動化提示優化算法（如 JEPA）調整代理，經驗證後發佈。這樣每個代理可支撐多次 AB 測試，避免盲目發佈。
實用技巧與重點
乾貨- 公司背景：Nuvé Bank（拉丁美洲領先數字銀行），1.35 億用戶（巴西、墨西哥、哥倫比亞），2026 年 Q1 季度收入超 50 億
- 主要工具：Snowglobe（模擬平台）、JEPA（自動提示優化算法）
- 評估指標：TNPS（代理版淨推薦值）、SSR（自助服務率）、人工評審
- 驗證數據：80% 專家標籤確認模擬數據可用、模擬與生產數據相關性高
- 發佈周期改善：
- 改動代理架構：數小時（不變）
- 離線評估：從數天 → 數小時（有模擬用戶）
- AB 測試：從數周 → 數小時（不需等生產反饋）
- 全流程：從數周 → 數小時至數分鐘
- 具體成果：
- 單個代理 TNPS 提升 2 倍
- 某代理 SSR 提升 4%
- 檢出會洩漏至生產的迴歸 bug
- 檢出會降低自助服務率的 bug
- 應用場景：測試多個開源模型版本、對比邊界模型與開源模型、新代理快速訓練、現有代理改進
結論
結論“建立可信的模擬評估數據機制，並整合自動化優化迴圈，是快速改進生產代理品質的關鍵，可將開發周期從數週縮短至數小時。”
完整解析
詳細Nuvé Bank 面臨的核心問題是如何快速改進 AI 代理品質。當前代理開發流程存在明顯的時間瓶頸：改動代理架構、提示詞或工具需要數小時，隨後離線評估需要數天（等待手工標註或生產數據），最壞情況下 AB 測試需要數周才能看到統計顯著的用戶反饋。這種緩慢的反饋迴圈源於評估數據的獲取方式——手工製作成本高昂且容易出錯，生產數據雖免費但無法並行實驗。特別是多轉對話代理的數據複雜度遠超單輪 QA，每個數據點都需要維持虛擬用戶、工具狀態的一致性，導致獲取和標註成本呈指數增長。
Snowglobe 模擬平台的核心創新在於自動化生成結構完整的評估數據。系統透過 SDK 包裝現有代理（無需改動代碼），使用者定義虛擬用戶角色（如一位 34 歲的設計師首次申請信用卡）和測試場景，系統即可生成包含虛擬用戶傾向、虛擬狀態數據（地址、信用卡等）的多轉對話。這些對話已包含所有評估所需的上下文和工具模擬輸出，直接可用於評估指標計算，無需等待人工審核或生產用戶反饋。
為確保模擬結果的可信性，Nuvé Bank 建立了嚴格的離線-在線對齐機制。他們對比模擬數據和生產數據在評估指標上的相關性，並由領域專家進行人工審核。結果顯示 80% 的專家驗證了模擬數據的可用性，證明模擬不僅適用於改進現有代理，也適用於快速訓練新代理。有了這個信心，團隊整合出一個持續自我改進的迴圈：通過模擬和實際數據運行評估、用自動化提示優化算法調整代理配置、經驗證後才發佈。這樣團隊可以為每個代理運行多次 AB 測試，而無需盲目發佈或等待用戶反饋。
結果證明模擬的威力。該團隊將五個生產代理的 TNPS 指標大幅提升至接近或超越人類水平。某個代理的 TNPS 提升了 2 倍，同時自助服務率也提升 4%，證明不存在用戶滿意度與效率的權衡。此外，模擬還提前檢出了會洩漏至生產的迴歸 bug 和會降低自助服務率的問題。在開源模型爆發的時代，這套系統也成了快速篩選最優模型版本的利器，節省了多週的試驗成本。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
