KeyFrame內部研究專用

How to Build Voice Agents That Don't Fall Apart When You Interrupt - Jesse Hall, LiveKit

AI Engineer英文
觀看原始影片

三句話摘要

建構人性化語音代理的技術架構與完整評測方法。 語音代理的自然感取決於系統整體設計與真實場景評測,而非單一模型分數;關鍵是設定延遲預算、測量使用者感知指標、多任務並行、完整對話模擬迭代。 傳統語音代理採級聯管線(語音轉文字→大語言模型→文字轉語音),但各模型單獨最佳化無法保證整體自然度。錯誤在上游擴散(文字辨認錯「3號」為「30號」,LLM 據此推理,下游全錯),而排行榜只評測單一模型,無法捕捉這類整體失敗。

重點整理

  1. 傳統語音代理採級聯管線(語音轉文字→大語言模型→文字轉語音),但各模型單獨最佳化無法保證整體自然度。錯誤在上游擴散(文字辨認錯「3號」為「30號」,LLM 據此推理,下游全錯),而排行榜只評測單一模型,無法捕捉這類整體失敗。

  2. 系統必須在延遲預算內(使用者最後音節到代理首次回應)運作:500-600 毫秒最自然,容忍上限 1.5 秒。當後端工具(查帳、確認扣款)耗時 2-40 秒時,關鍵做法是非同步化工具呼叫,讓代理繼續對話、提問下一題,後台並行處理,如人類在查資料時會說「稍等,系統有點慢」並轉移話題。

  3. 轉向檢測(何時停止聽、開始說)需同時聽音頻特徵(節奏、音高、語調),不只看文字轉錄。實測顯示 LiveKit 系統中斷率 4.5%,優於業界領先競品 9.9%;使用者說「五百五十五點二三」時,良好系統聽出語調未完結而等待,而非在「五百」後誤判結束。

  4. 評測應用完整對話模擬而非個別模型分數。採用開源飯店預訂代理作範本,用模擬呼叫者(可設目標改口、中斷、含糊、背景雜音)反覆測試同一 agent 搭配不同模型組合,驗證預訂是否入庫、金額正確、步驟最少、無幻覺呼叫、隱私完整。結果顯示最佳模型往往不在排行榜第一,而是在實際推理環境最快的選擇。

實用技巧與重點

  • 時間到第一音節(TTFA):應測此指標,不測時間到第一字節;提供商報告 210ms TTFB 但後接 3/4 秒靜音
  • 時間到第一句(TTFS):LLM 應優化此指標,文字轉語音需完整句子才能開始
  • 延遲預算:最自然 500-600 毫秒,容忍上限 1.5 秒
  • 轉向檢測中斷率:LiveKit 4.5% 對比競爭對手 9.9%
  • 最佳模型:Gemma 4 31B 在 LiveKit 推理排名最高
  • 開源實例:飯店預訂代理(含真實後端、可開源檢視)
  • 模擬呼叫者功能:改變目標、改口、中斷、含糊發音、背景雜音、通話中斷
  • 評測項目:資料庫寫入正確性、金額精準、步數最少、無幻覺函數呼叫、隱私保障、轉向檢測準確度
  • 核心代碼:`async await` 非同步化工具呼叫,讓對話和工具執行脫離同步線程

結論

語音代理的自然感取決於系統整體設計與真實場景評測,而非單一模型分數;關鍵是設定延遲預算、測量使用者感知指標、多任務並行、完整對話模擬迭代。

完整解析

語音代理是近年 AI 應用的新挑戰。雖然語音是最自然的人機交互方式,但現有商用語音系統(航空、藥局、車商電話)常在使用者中斷或改變意圖時失效,導致轉接人工。根本原因是現有設計採級聯管線(語音轉文字、大語言模型、文字轉語音),但評測方法基於個別模型的排行榜分數,無法反映整體對話品質。例如用戶說「3 號」,語音轉文字誤聽為「30 號」,LLM 據此規劃「30 號」,整個流程錯下去,而排行榜無從察覺。

解決方案首先重新定義評測指標。傳統做法測「時間到第一字節」,提供商報告 210 毫秒看似極快,但實際上之後有 3/4 秒靜音,使用者感受到的「時間到第一音節」才是真正的延遲。同樣,LLM 排行榜測「時間到第一 Token」,但文字轉語音需要完整句子才能開始發音,「時間到第一句」才是應優化的指標。系統應設定延遲預算——使用者最後音節到代理首次可聞反應的時間——最自然的範圍是 500-600 毫秒,最多容忍 1.5 秒。超過這個視窗,對話開始感覺不自然。

要在這個預算內完成轉向檢測、LLM 推理、語音生成,關鍵是放棄同步等待後端工具。當呼叫者要查詢交易或確認扣款(可能耗時數秒),傳統做法會卡住對話直到工具完成。講者示範的做法是——非同步化工具呼叫(一行代碼:`async await`),讓對話和後台工具執行分離。代理會說「給我一秒,我查一下」、「系統有點慢,已在處理」,同時繼續對話、提下一個問題,後台並行處理工具,這就是人類的多任務能力,也是自然感的來源。

第三個關鍵是轉向檢測——判斷何時停止聽、開始說。多數系統只看文字轉錄,見到一定長度的停頓就認為使用者說完。但良好系統應同時聽音頻的節奏、音高、語調。當使用者說「五百五十五點二三」時,差的系統在「五百」後看到 2 秒停頓就中止,導致錯過金額。講者實測的 LiveKit 系統通過聽語調知道使用者未完結,中斷率只有 4.5%,遠優於業界領先者的 9.9%。

第四是評測方法的轉變。不再依賴排行榜,而是用完整對話模擬。系統採用開源飯店預訂代理作範本,用模擬呼叫者(可設目標改口、中斷、含糊、背景雜音)反覆測試。測試不只看「是否完成預訂」,還要驗證「預訂是否正確進入資料庫」、「步驟是否最少」、「有無幻覺函數呼叫」、「隱私是否維護」。同一 agent、同一場景,只更換 LLM、語音轉文字、文字轉語音模型,循環測試,建立客製化 benchmark。結果往往出人意料:排行榜第一名的模型在實際推理環境可能更慢,反而某個中端模型(如 Gemma 4 31B 在 LiveKit 推理)表現最優。這是因為排行榜測學術性能,實際推理環境涉及推理框架、硬體最佳化,而代理場景還要考慮多模型協作。

整體而言,語音代理不是「有喇叭的聊天機器人」,而是需即時回應、模擬人類節奏與多任務能力的複雜系統。建構清單包括:設定延遲預算、測量使用者感知指標(時間到第一音節/句)、確認金融關鍵資訊、後台工具並行運作、完整對話場景反覆迭代。每次發現失敗,就轉化為回歸測試場景,長期累積測試套件,使系統越來越自然。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。