Voice Agents That Handle Interrupts - Chintan Agrawal and Daniel Wirjo, AWS

語音代理的自然度關鍵在於轉向檢測——系統如何判斷用戶已說完該輪到代理回應。兩位講者以一個對比例子開場：兩段相同對話，一種情況下代理無法在用戶試圖自我糾正時做出反應，造成近2秒的尷尬沉默；另一種情況代理在200毫秒內捕捉到中斷並退出。兩次使用同一LLM和提示，差異完全來自音頻管道的反應速度。

這涉及人類對話的基本節奏。200毫秒是人類在自然對話中輪流發言的極限。超過800毫秒體驗就明顯變差，超過1.5秒用戶會直接掛電話。相比之下，傳統人工客服人員可享受5秒的回應寬容度，但語音代理無法得到這種禮遇。目前業界最佳成績是Salesforce測得的755毫秒，比人類自然輪流速度慢了將近4倍。

管道由五個關鍵組件構成：音訊輸入→VAD（語音活動檢測）→STT→LLM→TTS→音訊輸出，加上轉向檢測和中斷處理邏輯。VAD的核心作用是快速判斷「現在是否有人在說話」，但它設計之初並未考慮許多邊界情況——用戶暫停300毫秒可能是在喘氣，也可能是已說完；同一句沉默可能是完整句子、未完成想法、思考停頓或背景確認，但VAD將這四種情況一視同仁。

為此講者提出三個遞進的技術層次。第一層採用Silero VAD——一個僅30萬參數的輕量模型，包含短期傅立葉變換層、四層卷積和LSTM記憶模塊。它通過調整min_silence_ms參數決定體驗：設太低會在用戶還在思考時切斷，設太高會導致不必要的沉默。無普遍最優值，完全取決於應用場景。銷售代理可能需要200毫秒回應，而客服則可容忍1000-1200毫秒。

第二層由STT服務提供商負責，例如Cartesian在websocket內直接執行轉向檢測（P50延遲約300毫秒），Deepgram的EndPointDetection也做類似事情（P50約250毫秒）。優點是利用完整音訊信號和語言背景做出更智慧的決定，但代價是透明度缺失——出錯時無法了解原因，只能被動接受。

第三層結合本地Silero VAD和Smart Turn V3.2模型。後者是個8MB的小型轉向檢測器，可在沉默期間運行，藉由韻律和語調判斷停頓是「我已完成」還是「我在思考」。其召回率58.9%、精確率68.4%，即十次中約六次能快速捕捉句子結束，其他四次則由VAD計時器補足，既保證速度又保證安全。Meta今年早期論文報告召回率高達87.7%但未開源程式碼。

講者強調，管道層面上三個方案的Python程式碼幾乎完全相同，唯一差異在於如何回答「用戶何時結束發言」這個問題的配置。這說明核心架構穩定，選擇哪層方案取決於對透明度、控制力和部署複雜度的不同權衡。

延遲預算分析揭示時間消耗的真實分布。Daily.co聯合創始人Quintela的測量顯示，音訊採集40毫秒、網路與抖動緩衝52毫秒（這兩項基本無法改善）、STT轉錄300毫秒、LLM首字延遲500-650毫秒、TTS播放85-120毫秒。STT和LLM加總佔延遲預算的三分之二，因此只有這兩個環節能有效改善指標。Daily.co團隊通過將所有模型放在同一GPU叢集消除網路躍點，達成500毫秒的總延遲，但這需要重大基礎設施投資。對大多數調用雲端API的開發者，延遲介於800-1300毫秒。

LLM首字延遲是瓶頸，講者建立了目標「低於700毫秒」才能保證整體回應時間在可接受範圍。6月26日基準測試中，Nemotron-3 Ultra和GPT-4.1的P50延遲都在529-536毫秒，但P95尾延遲才是語音應用的致命指標——GPT-4.1在P95飆升至1.7秒，Claude 3更超過4秒。在對話中無法用平均值掩蓋一次慢速回應，因為它會完全打破思路。此外多輪對話後模型傾向忽視系統提示、變得冗長或偏離主題，需透過上下文修剪或會話重置應對。

後半段丹尼爾透過Pipecat框架的實際演示具體化了這些概念。他展示了三個例子：純Silero VAD（用戶一說「呃」就被中斷因為設定的stop_seconds為300毫秒）、Cartesian STT內置轉向檢測（更智慧但用戶仍需完整句子才觸發回應）、本地VAD加Smart Turn模型（能在用戶完成句子時立即反應，調試日誌顯示模型判定句子完成可能性很高）。三個演示用同一旅遊助理代理，只改變轉向檢測的實現方式，清楚地展示了技術選擇如何直接影響用戶體驗。