How to Build Voice Agents That Don't Fall Apart When You Interrupt - Jesse Hall, LiveKit
三句話摘要
建構人性化語音代理的技術架構與完整評測方法。 語音代理的自然感取決於系統整體設計與真實場景評測,而非單一模型分數;關鍵是設定延遲預算、測量使用者感知指標、多任務並行、完整對話模擬迭代。 傳統語音代理採級聯管線(語音轉文字→大語言模型→文字轉語音),但各模型單獨最佳化無法保證整體自然度。錯誤在上游擴散(文字辨認錯「3號」為「30號」,LLM 據此推理,下游全錯),而排行榜只評測單一模型,無法捕捉這類整體失敗。
重點整理
傳統語音代理採級聯管線(語音轉文字→大語言模型→文字轉語音),但各模型單獨最佳化無法保證整體自然度。錯誤在上游擴散(文字辨認錯「3號」為「30號」,LLM 據此推理,下游全錯),而排行榜只評測單一模型,無法捕捉這類整體失敗。
系統必須在延遲預算內(使用者最後音節到代理首次回應)運作:500-600 毫秒最自然,容忍上限 1.5 秒。當後端工具(查帳、確認扣款)耗時 2-40 秒時,關鍵做法是非同步化工具呼叫,讓代理繼續對話、提問下一題,後台並行處理,如人類在查資料時會說「稍等,系統有點慢」並轉移話題。
轉向檢測(何時停止聽、開始說)需同時聽音頻特徵(節奏、音高、語調),不只看文字轉錄。實測顯示 LiveKit 系統中斷率 4.5%,優於業界領先競品 9.9%;使用者說「五百五十五點二三」時,良好系統聽出語調未完結而等待,而非在「五百」後誤判結束。
評測應用完整對話模擬而非個別模型分數。採用開源飯店預訂代理作範本,用模擬呼叫者(可設目標改口、中斷、含糊、背景雜音)反覆測試同一 agent 搭配不同模型組合,驗證預訂是否入庫、金額正確、步驟最少、無幻覺呼叫、隱私完整。結果顯示最佳模型往往不在排行榜第一,而是在實際推理環境最快的選擇。
實用技巧與重點
- 時間到第一音節(TTFA):應測此指標,不測時間到第一字節;提供商報告 210ms TTFB 但後接 3/4 秒靜音
- 時間到第一句(TTFS):LLM 應優化此指標,文字轉語音需完整句子才能開始
- 延遲預算:最自然 500-600 毫秒,容忍上限 1.5 秒
- 轉向檢測中斷率:LiveKit 4.5% 對比競爭對手 9.9%
- 最佳模型:Gemma 4 31B 在 LiveKit 推理排名最高
- 開源實例:飯店預訂代理(含真實後端、可開源檢視)
- 模擬呼叫者功能:改變目標、改口、中斷、含糊發音、背景雜音、通話中斷
- 評測項目:資料庫寫入正確性、金額精準、步數最少、無幻覺函數呼叫、隱私保障、轉向檢測準確度
- 核心代碼:`async await` 非同步化工具呼叫,讓對話和工具執行脫離同步線程
結論
語音代理的自然感取決於系統整體設計與真實場景評測,而非單一模型分數;關鍵是設定延遲預算、測量使用者感知指標、多任務並行、完整對話模擬迭代。
完整解析
語音代理是近年 AI 應用的新挑戰。雖然語音是最自然的人機交互方式,但現有商用語音系統(航空、藥局、車商電話)常在使用者中斷或改變意圖時失效,導致轉接人工。根本原因是現有設計採級聯管線(語音轉文字、大語言模型、文字轉語音),但評測方法基於個別模型的排行榜分數,無法反映整體對話品質。例如用戶說「3 號」,語音轉文字誤聽為「30 號」,LLM 據此規劃「30 號」,整個流程錯下去,而排行榜無從察覺。
解決方案首先重新定義評測指標。傳統做法測「時間到第一字節」,提供商報告 210 毫秒看似極快,但實際上之後有 3/4 秒靜音,使用者感受到的「時間到第一音節」才是真正的延遲。同樣,LLM 排行榜測「時間到第一 Token」,但文字轉語音需要完整句子才能開始發音,「時間到第一句」才是應優化的指標。系統應設定延遲預算——使用者最後音節到代理首次可聞反應的時間——最自然的範圍是 500-600 毫秒,最多容忍 1.5 秒。超過這個視窗,對話開始感覺不自然。
要在這個預算內完成轉向檢測、LLM 推理、語音生成,關鍵是放棄同步等待後端工具。當呼叫者要查詢交易或確認扣款(可能耗時數秒),傳統做法會卡住對話直到工具完成。講者示範的做法是——非同步化工具呼叫(一行代碼:`async await`),讓對話和後台工具執行分離。代理會說「給我一秒,我查一下」、「系統有點慢,已在處理」,同時繼續對話、提下一個問題,後台並行處理工具,這就是人類的多任務能力,也是自然感的來源。
第三個關鍵是轉向檢測——判斷何時停止聽、開始說。多數系統只看文字轉錄,見到一定長度的停頓就認為使用者說完。但良好系統應同時聽音頻的節奏、音高、語調。當使用者說「五百五十五點二三」時,差的系統在「五百」後看到 2 秒停頓就中止,導致錯過金額。講者實測的 LiveKit 系統通過聽語調知道使用者未完結,中斷率只有 4.5%,遠優於業界領先者的 9.9%。
第四是評測方法的轉變。不再依賴排行榜,而是用完整對話模擬。系統採用開源飯店預訂代理作範本,用模擬呼叫者(可設目標改口、中斷、含糊、背景雜音)反覆測試。測試不只看「是否完成預訂」,還要驗證「預訂是否正確進入資料庫」、「步驟是否最少」、「有無幻覺函數呼叫」、「隱私是否維護」。同一 agent、同一場景,只更換 LLM、語音轉文字、文字轉語音模型,循環測試,建立客製化 benchmark。結果往往出人意料:排行榜第一名的模型在實際推理環境可能更慢,反而某個中端模型(如 Gemma 4 31B 在 LiveKit 推理)表現最優。這是因為排行榜測學術性能,實際推理環境涉及推理框架、硬體最佳化,而代理場景還要考慮多模型協作。
整體而言,語音代理不是「有喇叭的聊天機器人」,而是需即時回應、模擬人類節奏與多任務能力的複雜系統。建構清單包括:設定延遲預算、測量使用者感知指標(時間到第一音節/句)、確認金融關鍵資訊、後台工具並行運作、完整對話場景反覆迭代。每次發現失敗,就轉化為回歸測試場景,長期累積測試套件,使系統越來越自然。


