KeyFrame內部研究專用

While my guitar gently speaks — Todd Fisher, Philo Ventures

AI Engineer18 min中文
觀看原始影片

三句話摘要

用 AI 和音訊技術把吉他改造成會說話、唱歌的樂器。 在 AI 時代,傳統樂器可以透過結合多個開源工具與機器學習技術重新賦予全新生命,關鍵在於找到你的熱情所在,然後逐步迭代去實現它。 設計循序漸進 — 先解決文字轉語音,再處理詞語分段挑戰(能量間隔分析與音頻峰值辨識),最後才進階到音高檢測與合成音符,每一步都建立在前一步的基礎上。

重點整理

  1. 設計循序漸進 — 先解決文字轉語音,再處理詞語分段挑戰(能量間隔分析與音頻峰值辨識),最後才進階到音高檢測與合成音符,每一步都建立在前一步的基礎上。

  2. 音高檢測是關鍵 — 用 YIN 音高演算法偵測吉他彈奏的音高,轉換成合成音符,再通過聲碼器混合 AI 語音,這樣才能讓吉他真正「開口說話」。

  3. 工程與創意的平衡 — 無法完全自動化的部分(例如詞語分段不完美時)就手動調整,實用化優於完美化,快速迭代才能推進專案。

  4. 本地 AI 降低門檻 — 使用 Whisper 做語音轉文字、本地 LLM 進行對話理解,完全在自己的電腦上執行,讓實時互動成為可能,不需依賴雲端 API。

實用技巧與重點

  • 框架與工具:
  • Juice(音訊框架)
  • Piper、Apple text-to-speech(文字轉語音)
  • Energy gap segmentation(能量間隔分段)
  • Sonority peak syllabify(音頻峰值音節識別)
  • YIN Pitch algorithm(音高檢測)
  • ADSR(聲音包絡:Attack、Decay、Sustain、Release)
  • Vocoder(聲碼器)
  • Whisper(語音轉文字)
  • 本地 LLM(對話理解)
  • Vocal set(歌聲樣本庫)
  • World(音調移位工具)
  • 核心流程:
  • 文字輸入 → 轉語音 → 取得音訊檔
  • 按詞語分段(手動調整難以自動化的部分)
  • 吉他輸入 → YIN 演算法檢測音高 → 合成音符
  • 將合成音符推過聲碼器混合 AI 語音
  • 語音轉文字(Whisper)→ 本地 LLM 推理 → 結果轉語音 → 吉他播放
  • 預處理歌唱:
  • 使用 Vocal set 的歌聲樣本(五個母音各一個)
  • 用 World 工具進行音調移位
  • 將每根弦或每個品格映射到不同的預製樣本

結論

在 AI 時代,傳統樂器可以透過結合多個開源工具與機器學習技術重新賦予全新生命,關鍵在於找到你的熱情所在,然後逐步迭代去實現它。

完整解析

吉他作為傳統樂器,經歷了數百年的演進——從插上擴大器成就了搖滾樂,到效果器堆疊塑造豐富音色,再到軟體模擬的數位音訊工作站(DAW)。講者在此脈絡下提出下一個問題:AI 時代的吉他會是什麼樣子?

這個專案的靈感來自講者十多年來在萬聖節在家門口彈吉他分發糖果的傳統。三年前他扮成《怪奇物語》的吉他手 Eddie Munson,並開發了一個應用,透過吉他彈奏來控制車庫大門上的燈光,拼出該劇的經典字母牆。這次成功啟發了他進一步思考:如果吉他本身能開口說話呢?

講者首先從簡單的文字轉語音開始,用 Piper 和蘋果內建工具將任意文本轉成音訊。但人類語言遠比單個詞更複雜,於是他進一步發展了詞語分段機制。這裡的關鍵挑戰是自動辨識詞邊界——能量間隔分割法藉由偵測接近零分貝的沉默段來切分,但在連貫的對白中往往不完美。他嘗試結合音頻峰值音節識別法(透過偵測母音來推測音節),最終採取混合方案:由演算法初步分割,再手動微調難以自動化的部分。

為了真正讓吉他「唱歌」,講者引入了音高檢測技術。使用 YIN 演算法從吉他輸入中提取基頻(fundamental frequency),再合成對應的音符,並透過聲碼器(vocoder)將 AI 語音與合成音符混合。這個過程使得吉他既保持音樂性又能清晰表達語言。為了支持即時對話,他進一步整合了 Whisper(語音轉文字)和本地運行的 LLM,使用戶可以透過麥克風提問,吉他隨即生成並播放回答。

最後,講者探索了更高層次的歌唱模擬。他利用 Vocal set(一個記錄多位歌手的資料庫)提取五個母音的歌聲樣本,再用 World 工具進行音調移位,將每個吉他音符映射到預製的樣本上。這個預處理步驟耗費較多運算,所以無法即時執行,但效果更接近真正的唱歌。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。