From Voice Agents to AI Avatars with Alexander Smola - #777
三句話摘要
Boson AI CEO Alex Smola 討論構建自然語音AI系統的工程挑戰,包括音頻模型、多模態學習、系統架構與情感智能。 構建自然語音AI的勝負手不在模型參數規模,而在於同時優化工程、科學與人類體驗的多維度權衡,特別是透過負擔性優先的架構設計與情感智能基準測試。 人類對對話自然性極敏感——任何延遲、不當中斷或情感錯位都會破壞互動錯覺。語音AI需要在150毫秒內回應中斷,因為這是人類視覺與聽覺感知的神經學閾值。
重點整理
人類對對話自然性極敏感——任何延遲、不當中斷或情感錯位都會破壞互動錯覺。語音AI需要在150毫秒內回應中斷,因為這是人類視覺與聽覺感知的神經學閾值。
音頻encoding的經濟困境——高token頻率(10+ tokens/秒)提供高保真但計算成本昂貴,低頻率則允許更大模型。Boson AI採「負擔性優先」策略,寧願以略低品質換取用戶可負擔的成本。
多模態學習防止記憶遺忘——向LLM添加音頻模態時,模型易忘記文本推理能力。解決方案是設計訓練任務同時跨越文本與音頻,保持雙模態競爭力。
兩階段系統架構的必要性——前台模型維持即時流暢對話,後台並行執行複雜推理與工具調用。此設計類似多線程程式設計,既保證響應性又支持複雜任務,避免單模型的無法負擔的計算成本。
實用技巧與重點
- 訓練數據量:100百萬小時音頻(相當於200個75年人生的音量)
- 延遲目標:150毫秒內完成中斷處理
- 人類感知頻率:6-10赫茲(音頻視覺感知)
- Token生成速率:音頻10+ tokens/秒;文字3-5 tokens/秒
- 成本優勢:性能超越GPT/Gemini/Claude,成本為十分之一
- 基準測試:ProactBench(生產力指標)、IHBench(互動品質)
- 基礎模型:部分基於LLaMA,在模型卡上適當標註
- 資料處理:提取、標記、正規化、轉錄——不依賴昂貴標註公司
- 硬體成本:擁有自有資料中心;硬碟成本目前較一年前漲3倍
- 標籤集合處理:採用古典統計方法(trimmed mean估計)與上下文線索改進訓練
- 視頻生成:修改Warp/Flux使其支持小時級連續、視覺一致的流
結論
構建自然語音AI的勝負手不在模型參數規模,而在於同時優化工程、科學與人類體驗的多維度權衡,特別是透過負擔性優先的架構設計與情感智能基準測試。
完整解析
現代語音AI面臨根本問題:人類對對話自然性的敏感度遠超想像。任何延遲、不當的中斷處理、語調偏差或情感反應不當,都會瞬間打破互動的錯覺。即使OpenAI的Advanced Voice Mode,在現實環境中表現也令人沮喪,只在完美條件下(無背景噪音、用戶謹慎發言)才堪用。
從神經科學基礎開始:光刺激從視網膜傳達至大腦皮層需約150毫秒,聽覺稍快。人類實際以6-10赫茲的頻率感知音頻視覺信息。Boson AI因此設計系統確保在150毫秒內完成中斷處理,使對話體驗貼近人類認知閾值,避免不自然的卡頓感。
構建實時語音系統的核心工程挑戰源於token化權衡。音頻必須轉換為token供LLM處理,再轉換回語音。這看似簡單,卻隱含致命權衡:高token頻率(10+ tokens/秒)提供高保真度,但需模型每秒生成大量token,成本爆炸性增長;低頻率則允許更大、更聰慧的模型。文字相對高效(3-5 tokens/秒)。這創造困境——高token頻率要求小模型,低頻率允許大模型。Boson AI採取「負擔性優先」策略,而非盲目追求參數規模的業界風潮。
多模態學習引入語言遺忘風險。將新模態(如音頻)添加到強大的LLM時,模型容易遺忘原有文本推理能力——如同語言習得中的兒童可能忘記母語。解決方案是在訓練中設計同時跨越文本與音頻的任務,確保模型維持雙模態競爭力,並透過多語言類比(dog→shia/carne/hund)來跨模態接地。
系統架構採用兩階段設計。前台模型維持即時、流暢的對話;後台可並行執行複雜推理、工具調用、信息檢索,類似多線程程式設計中的主線程與工作線程。用戶提出需要查詢的問題時,模型適當告知「讓我查一下」,利用人類對延遲的耐受性(只要被提前告知),保持交互自然感。此設計避免單一端到端模型的無法負擔的計算負擔,亦維持對話流暢性。
訓練資料來自互聯網多元源,包括視頻、播客、新聞等。Boson AI投入龐大工程資源進行資料處理(提取、標記、正規化、轉錄),而非依賴昂貴標註公司(一家提議標註10,000小時,Boson AI卻有1-2億小時量級)。擁有自有資料中心是關鍵決策——將100百萬小時音頻存儲在公有雲會讓儲存費用直接吞噬整個預算。面對雜亂標籤集合,他們應用古典統計方法(如trimmed mean估計——中世紀「foot rule」的現代版)及上下文線索(如已知播客多為兩人對話)來改進訓練。
情商(EQ)與智商(IQ)同樣重要。光有聰慧推理不足以創造令人愉悅互動。模型必須區分文化差異(日語中的「相槽詞」肯定回應不應中斷對話),避免Hitchhiker's Guide中那個歡樂電腦在生死攸關時刻毫無同情心的場景。Boson AI甚至發布ProactBench和IHBench來量化對話品質、中斷性、響應性與情感一致性。
最後,系統面臨虛擬頭像化趨勢。從純語音到視頻流(虛擬頭像)需額外模型修改。視頻生成模型(Warp/Flux)可生成10秒段落,但要實現小時級、視覺一致的連續流,需進行特定最佳化。由於虛擬頭像背景通常靜態且人的肢體運動有限,大部分視頻信息可高效壓縮,避免不必要高碼率。
整體而言,自然語音AI是生物學(150毫秒反應時間)、統計學(雜亂資料處理)、工程學(系統最佳化)與設計(情感一致性)的完全融合。

