While my guitar gently speaks — Todd Fisher, Philo Ventures
三句話摘要
用 AI 和音訊技術把吉他改造成會說話、唱歌的樂器。 在 AI 時代，傳統樂器可以透過結合多個開源工具與機器學習技術重新賦予全新生命，關鍵在於找到你的熱情所在，然後逐步迭代去實現它。 設計循序漸進 — 先解決文字轉語音，再處理詞語分段挑戰（能量間隔分析與音頻峰值辨識），最後才進階到音高檢測與合成音符，每一步都建立在前一步的基礎上。
重點整理
重點- 1
設計循序漸進 — 先解決文字轉語音，再處理詞語分段挑戰（能量間隔分析與音頻峰值辨識），最後才進階到音高檢測與合成音符，每一步都建立在前一步的基礎上。
- 2
音高檢測是關鍵 — 用 YIN 音高演算法偵測吉他彈奏的音高，轉換成合成音符，再通過聲碼器混合 AI 語音，這樣才能讓吉他真正「開口說話」。
- 3
工程與創意的平衡 — 無法完全自動化的部分（例如詞語分段不完美時）就手動調整，實用化優於完美化，快速迭代才能推進專案。
- 4
本地 AI 降低門檻 — 使用 Whisper 做語音轉文字、本地 LLM 進行對話理解，完全在自己的電腦上執行，讓實時互動成為可能，不需依賴雲端 API。
實用技巧與重點
乾貨- 框架與工具：
- Juice（音訊框架）
- Piper、Apple text-to-speech（文字轉語音）
- Energy gap segmentation（能量間隔分段）
- Sonority peak syllabify（音頻峰值音節識別）
- YIN Pitch algorithm（音高檢測）
- ADSR（聲音包絡：Attack、Decay、Sustain、Release）
- Vocoder（聲碼器）
- Whisper（語音轉文字）
- 本地 LLM（對話理解）
- Vocal set（歌聲樣本庫）
- World（音調移位工具）
- 核心流程：
- 文字輸入 → 轉語音 → 取得音訊檔
- 按詞語分段（手動調整難以自動化的部分）
- 吉他輸入 → YIN 演算法檢測音高 → 合成音符
- 將合成音符推過聲碼器混合 AI 語音
- 語音轉文字（Whisper）→ 本地 LLM 推理 → 結果轉語音 → 吉他播放
- 預處理歌唱：
- 使用 Vocal set 的歌聲樣本（五個母音各一個）
- 用 World 工具進行音調移位
- 將每根弦或每個品格映射到不同的預製樣本
結論
結論“在 AI 時代，傳統樂器可以透過結合多個開源工具與機器學習技術重新賦予全新生命，關鍵在於找到你的熱情所在，然後逐步迭代去實現它。”
完整解析
詳細吉他作為傳統樂器，經歷了數百年的演進——從插上擴大器成就了搖滾樂，到效果器堆疊塑造豐富音色，再到軟體模擬的數位音訊工作站（DAW）。講者在此脈絡下提出下一個問題：AI 時代的吉他會是什麼樣子？
這個專案的靈感來自講者十多年來在萬聖節在家門口彈吉他分發糖果的傳統。三年前他扮成《怪奇物語》的吉他手 Eddie Munson，並開發了一個應用，透過吉他彈奏來控制車庫大門上的燈光，拼出該劇的經典字母牆。這次成功啟發了他進一步思考：如果吉他本身能開口說話呢？
講者首先從簡單的文字轉語音開始，用 Piper 和蘋果內建工具將任意文本轉成音訊。但人類語言遠比單個詞更複雜，於是他進一步發展了詞語分段機制。這裡的關鍵挑戰是自動辨識詞邊界——能量間隔分割法藉由偵測接近零分貝的沉默段來切分，但在連貫的對白中往往不完美。他嘗試結合音頻峰值音節識別法（透過偵測母音來推測音節），最終採取混合方案：由演算法初步分割，再手動微調難以自動化的部分。
為了真正讓吉他「唱歌」，講者引入了音高檢測技術。使用 YIN 演算法從吉他輸入中提取基頻（fundamental frequency），再合成對應的音符，並透過聲碼器（vocoder）將 AI 語音與合成音符混合。這個過程使得吉他既保持音樂性又能清晰表達語言。為了支持即時對話，他進一步整合了 Whisper（語音轉文字）和本地運行的 LLM，使用戶可以透過麥克風提問，吉他隨即生成並播放回答。
最後，講者探索了更高層次的歌唱模擬。他利用 Vocal set（一個記錄多位歌手的資料庫）提取五個母音的歌聲樣本，再用 World 工具進行音調移位，將每個吉他音符映射到預製的樣本上。這個預處理步驟耗費較多運算，所以無法即時執行，但效果更接近真正的唱歌。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
