KeyFrame內部研究專用

Voice In, Visuals Out: The Agony and the Ecstasy - Allen Pike, Forestwalk Labs

AI Engineer13 min英文
觀看原始影片

三句話摘要

如何構建「語音輸入、視覺輸出」的低延遲 AI 體驗 放棄語音對語音而採用語音輸入搭配視覺輸出,配合快速模型、高頻推理和前綴緩存,已成為實現實用低延遲 AI 交互的最務實方案。 語音對語音要求超低延遲(200毫秒),在今日技術下難以穩定達成。改用語音輸入配視覺輸出,後者容忍延遲到1秒內仍感受自然,技術可行性大幅提升。

重點整理

  1. 語音對語音要求超低延遲(200毫秒),在今日技術下難以穩定達成。改用語音輸入配視覺輸出,後者容忍延遲到1秒內仍感受自然,技術可行性大幅提升。

  2. 模型選擇的決定因素是延遲而非智能。GPT-4o mini 在某些平台 P95 延遲高達 5-10 秒,反不如 Haiku 穩定;關鍵是推理平台對延遲的優先級,不只是模型大小。

  3. 高頻推理間隔是核心。傳統應用等用戶停頓才推理,浪費了延遲預算;改為每 1-2 秒主動推理(即使用戶未停頓),能更敏捷地捕捉意圖變化並回應。

  4. 前綴緩存是成本和性能的關鍵槓桿。保持上文 90% 相同、只更新最後 10% 內容,配合最小化輸出令牌,可實現快速廉價的推理迴圈。

實用技巧與重點

  • 人類延遲感知:100 毫秒(感受即時)、1,000 毫秒(注意力上限)、200 毫秒(語音對話流暢度)
  • GPT-4o mini:延遲 5,000-10,000 毫秒(P95)
  • Haiku:延遲表現優於 GPT-4o mini
  • 前綴緩存效益:降低 90% 成本與延遲
  • 推理觸發頻率:每 1-2 秒
  • 推理架構:小模型快速回應(視覺) → 異步觸發大模型(後台重任務)
  • 實際案例(Forest Walk):語音代理在會議中 1 秒內完成 Linear Issue 建立
  • 參考架構:Thinking Machines 與 Neolab 的 200 毫秒時間片連續推理

結論

放棄語音對語音而採用語音輸入搭配視覺輸出,配合快速模型、高頻推理和前綴緩存,已成為實現實用低延遲 AI 交互的最務實方案。

完整解析

AI 互動正在從純文本進化到多模態體驗。Andrej Karpathy 的觀點引發業界共鳴:人類更傾向用語音輸入(比打字更快,每個詞傳達更多信息),也更願看視覺輸出(因為人腦三分之一專注視覺)。然而現實中的語音助手體驗往往令人失望——Siri 常無法理解、ChatGPT 語音模式時有尷尬卡頓,根本原因是延遲過高加模型能力不足。

實現流暢語音對話面臨根本的延遲限制。從60年代起,人類就知道計算機反應若超過100毫秒就不夠「即時」;實務上可容忍延遲到1秒,但超過就會分散注意力。然而語音對語音交互要求極其苛刻——需在200毫秒內完成整個鏈路:語音轉文字、模型推理、返回結果,再加上網絡往返、計算開銷,幾乎不可能達成。

Forest Walk 團隊的突破是戰略性妥協:不追求語音對語音,而是採用「語音輸入、視覺輸出」。視覺信息的延遲容忍度遠寬鬆——只要屏幕在1秒內出現回應,用戶就感知到機器在即時反應。他們的實踐驗證了這個模式:在會議通話中提及發現 Slack 集成 bug,語音代理在1秒內自動在 Linear 建立任務,整個過程毫無牽絆,用戶甚至沒意識到自己在和 AI 交互。

實現此體驗的三大技術支柱首先是模型選擇。不是大小決定速度——GPT-4o mini 雖然參數少,但在部分平台 P95 延遲高達5-10秒;反而 Haiku 類模型因推理平台對延遲的優先級設計更好。複雜任務可讓小模型快速回應視覺,同時非同步觸發大模型在後台思考。其次是推理間隔頻率。傳統語音應用需等待用戶停頓,這樣白白耗費了延遲預算;改為每1-2秒主動推理(即便用戶還在說話),能更靈敏地抓住意圖變化。最後是前綴緩存策略——若上文90%保持不變,就能節省90%計算成本和延遲;應盡力維持穩定的上文部分,僅在最後10%更新新信息,並最小化輸出令牌數。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI