KeyFrame內部研究專用

From Voice Agents to AI Avatars with Alexander Smola - #777

TWIML AI64 min英文
觀看原始影片

三句話摘要

Boson AI CEO Alex Smola 討論構建自然語音AI系統的工程挑戰,包括音頻模型、多模態學習、系統架構與情感智能。 構建自然語音AI的勝負手不在模型參數規模,而在於同時優化工程、科學與人類體驗的多維度權衡,特別是透過負擔性優先的架構設計與情感智能基準測試。 人類對對話自然性極敏感——任何延遲、不當中斷或情感錯位都會破壞互動錯覺。語音AI需要在150毫秒內回應中斷,因為這是人類視覺與聽覺感知的神經學閾值。

重點整理

  1. 人類對對話自然性極敏感——任何延遲、不當中斷或情感錯位都會破壞互動錯覺。語音AI需要在150毫秒內回應中斷,因為這是人類視覺與聽覺感知的神經學閾值。

  2. 音頻encoding的經濟困境——高token頻率(10+ tokens/秒)提供高保真但計算成本昂貴,低頻率則允許更大模型。Boson AI採「負擔性優先」策略,寧願以略低品質換取用戶可負擔的成本。

  3. 多模態學習防止記憶遺忘——向LLM添加音頻模態時,模型易忘記文本推理能力。解決方案是設計訓練任務同時跨越文本與音頻,保持雙模態競爭力。

  4. 兩階段系統架構的必要性——前台模型維持即時流暢對話,後台並行執行複雜推理與工具調用。此設計類似多線程程式設計,既保證響應性又支持複雜任務,避免單模型的無法負擔的計算成本。

實用技巧與重點

  • 訓練數據量:100百萬小時音頻(相當於200個75年人生的音量)
  • 延遲目標:150毫秒內完成中斷處理
  • 人類感知頻率:6-10赫茲(音頻視覺感知)
  • Token生成速率:音頻10+ tokens/秒;文字3-5 tokens/秒
  • 成本優勢:性能超越GPT/Gemini/Claude,成本為十分之一
  • 基準測試:ProactBench(生產力指標)、IHBench(互動品質)
  • 基礎模型:部分基於LLaMA,在模型卡上適當標註
  • 資料處理:提取、標記、正規化、轉錄——不依賴昂貴標註公司
  • 硬體成本:擁有自有資料中心;硬碟成本目前較一年前漲3倍
  • 標籤集合處理:採用古典統計方法(trimmed mean估計)與上下文線索改進訓練
  • 視頻生成:修改Warp/Flux使其支持小時級連續、視覺一致的流

結論

構建自然語音AI的勝負手不在模型參數規模,而在於同時優化工程、科學與人類體驗的多維度權衡,特別是透過負擔性優先的架構設計與情感智能基準測試。

完整解析

現代語音AI面臨根本問題:人類對對話自然性的敏感度遠超想像。任何延遲、不當的中斷處理、語調偏差或情感反應不當,都會瞬間打破互動的錯覺。即使OpenAI的Advanced Voice Mode,在現實環境中表現也令人沮喪,只在完美條件下(無背景噪音、用戶謹慎發言)才堪用。

從神經科學基礎開始:光刺激從視網膜傳達至大腦皮層需約150毫秒,聽覺稍快。人類實際以6-10赫茲的頻率感知音頻視覺信息。Boson AI因此設計系統確保在150毫秒內完成中斷處理,使對話體驗貼近人類認知閾值,避免不自然的卡頓感。

構建實時語音系統的核心工程挑戰源於token化權衡。音頻必須轉換為token供LLM處理,再轉換回語音。這看似簡單,卻隱含致命權衡:高token頻率(10+ tokens/秒)提供高保真度,但需模型每秒生成大量token,成本爆炸性增長;低頻率則允許更大、更聰慧的模型。文字相對高效(3-5 tokens/秒)。這創造困境——高token頻率要求小模型,低頻率允許大模型。Boson AI採取「負擔性優先」策略,而非盲目追求參數規模的業界風潮。

多模態學習引入語言遺忘風險。將新模態(如音頻)添加到強大的LLM時,模型容易遺忘原有文本推理能力——如同語言習得中的兒童可能忘記母語。解決方案是在訓練中設計同時跨越文本與音頻的任務,確保模型維持雙模態競爭力,並透過多語言類比(dog→shia/carne/hund)來跨模態接地。

系統架構採用兩階段設計。前台模型維持即時、流暢的對話;後台可並行執行複雜推理、工具調用、信息檢索,類似多線程程式設計中的主線程與工作線程。用戶提出需要查詢的問題時,模型適當告知「讓我查一下」,利用人類對延遲的耐受性(只要被提前告知),保持交互自然感。此設計避免單一端到端模型的無法負擔的計算負擔,亦維持對話流暢性。

訓練資料來自互聯網多元源,包括視頻、播客、新聞等。Boson AI投入龐大工程資源進行資料處理(提取、標記、正規化、轉錄),而非依賴昂貴標註公司(一家提議標註10,000小時,Boson AI卻有1-2億小時量級)。擁有自有資料中心是關鍵決策——將100百萬小時音頻存儲在公有雲會讓儲存費用直接吞噬整個預算。面對雜亂標籤集合,他們應用古典統計方法(如trimmed mean估計——中世紀「foot rule」的現代版)及上下文線索(如已知播客多為兩人對話)來改進訓練。

情商(EQ)與智商(IQ)同樣重要。光有聰慧推理不足以創造令人愉悅互動。模型必須區分文化差異(日語中的「相槽詞」肯定回應不應中斷對話),避免Hitchhiker's Guide中那個歡樂電腦在生死攸關時刻毫無同情心的場景。Boson AI甚至發布ProactBench和IHBench來量化對話品質、中斷性、響應性與情感一致性。

最後,系統面臨虛擬頭像化趨勢。從純語音到視頻流(虛擬頭像)需額外模型修改。視頻生成模型(Warp/Flux)可生成10秒段落,但要實現小時級、視覺一致的連續流,需進行特定最佳化。由於虛擬頭像背景通常靜態且人的肢體運動有限,大部分視頻信息可高效壓縮,避免不必要高碼率。

整體而言,自然語音AI是生物學(150毫秒反應時間)、統計學(雜亂資料處理)、工程學(系統最佳化)與設計(情感一致性)的完全融合。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資