KeyFrame內部研究專用

How To Fully Automate Video Editing with Claude Code (Setup + Guide)

Zinho Automates·7月7日週二·10 min英文

三句話摘要

用 Claude Fable 5 自動化視頻編輯流程,從原始素材到成品影片只需一個提示詞。 Claude Fable 5 通過自動化轉錄、剪輯、圖形生成、字幕、配樂全流程,讓非專業用戶也能在 Claude 應用內生產專業級視頻成品,無需 Premiere Pro 或編輯經驗。 自動轉錄與精確剪輯:11 Labs Scribe 將原始素材轉錄並標註每個詞的起訖時間戳,Claude 據此自動刪除死空間、填充詞(um、like)、重複句子和長停頓,確保剪輯點準確無誤,不會斷詞或切掉語音。

重點整理

重點
  • 1

    自動轉錄與精確剪輯:11 Labs Scribe 將原始素材轉錄並標註每個詞的起訖時間戳,Claude 據此自動刪除死空間、填充詞(um、like)、重複句子和長停頓,確保剪輯點準確無誤,不會斷詞或切掉語音。

  • 2

    分層工作流程:VideoUse 負責編輯邏輯,Hyperframe 負責圖形渲染,ffmpeg 處理最終合成,三者緊密整合但用戶無需直接操作,Claude 統一協調。

  • 3

    創意控制的 80/20 分割:Claude 自動生成初稿(包括粗剪、圖形規劃、字幕、配樂),用戶只需調整顏色、速度、標誌位置等細節,每次修改只重新渲染該部分,反覆迴圈快速。

  • 4

    零學習曲線的安裝流程:無需手動配置,只需提供 GitHub 連結和 API 金鑰,Claude 自動安裝依賴、配置 ffmpeg、註冊技能,整個設置完全自動化。

實用技巧與重點

乾貨
  • 工具清單:VideoUse(開源編輯技能)、Hyperframe(圖形渲染引擎)、ffmpeg(視頻合成與轉檔)、11 Labs Scribe(字級時間戳轉錄)
  • 背景音樂級別:-22 至 -23 分貝(說話頭背景音樂的推薦標準)
  • 關鍵流程:原始素材 → Scribe 轉錄 + 字級時間戳 → Claude 分析轉錄檔 → 標記清潔版本(刪除填充詞、重複、停頓) → ffmpeg 拼接 → 生成運動圖形計劃 → 手動調整圖形(第一遍 → 第二遍) → 添加字幕(使用已有轉錄檔)→ 混入背景音樂 → 導出完整視頻
  • 字幕特性:使用 CoolVetica 字型、文字隨著說話同步出現、無靜態圖片、無跑馬燈效果
  • 項目保留機制:完成後保留整個專案資料夾於本機,允許後續單獨修改某段圖形而無需重新處理整個視頻

結論

結論

Claude Fable 5 通過自動化轉錄、剪輯、圖形生成、字幕、配樂全流程,讓非專業用戶也能在 Claude 應用內生產專業級視頻成品,無需 Premiere Pro 或編輯經驗。

完整解析

詳細

Claude Fable 5 的視頻編輯系統解決的核心問題是:原始素材充滿死空間、填充詞、重複段落和長停頓,傳統編輯方式需要手工在 Premiere Pro 中逐幀調整,極其耗時。講者展示的整套自動化方案改變了這一現狀。

系統由三層工具組成。底層是 ffmpeg,負責實際的視頻合成與轉檔。中層是 VideoUse 技能,它讀取逐字稿、識別糟糕部分(填充詞、重複、停頓)並標記清潔版本,然後調用 ffmpeg 只拼接要保留的片段。上層是 Hyperframe 渲染引擎,以代碼形式生成每一幀圖形。這三者由 Claude Fable 5 統一協調,用戶無需直接觸碰。

啟動流程也被完全自動化了。用戶只需將 VideoUse 的 GitHub 連結貼入代碼分籤,Claude 自動執行 repo 安裝、ffmpeg 配置、技能註冊,並在第一次執行編輯時提示粘貼 11 Labs Scribe API 金鑰。整個設置無需終端操作。

實際編輯時,用戶先上傳原始素材(可能有多個鏡頭、多次重說、長停頓),輸入一個提示詞「為該素材進行粗剪」。Claude 會先用 Scribe 轉錄全片並獲得字級時間戳,然後讀取轉錄檔、標記所有填充詞和重複段落、生成剪輯計劃,關鍵是它先展示計劃等待用戶批准,而不是直接執行。用戶確認後,ffmpeg 才拼接清潔版本。在講者的示範中,4 分鐘原始素材被自動濃縮到 1 分鐘,剪輯點精確到毫秒,沒有斷詞或切掉語音。

接著進行圖形設計。用戶新建聊天以保持清爽,輸入「為每段規劃運動圖形並加粗」。Claude 讀回整個素材轉錄檔,判斷每段內容、選擇合適的視覺元素(文字卡、動畫標註、資料圖表、標誌位置等),逐段加粗標記。第一遍自動生成約 80% 的完成度。接著進入第二遍:用戶發出微調指令如「將 Claude 改為橙色」、「放入我的標誌 PNG」、「該過渡速度太快,減慢」,Claude 只重新渲染涉及的部分,無需全片重算,迴圈非常快。

完成圖形後,添加字幕和配樂。字幕已無額外成本,因為 Scribe 轉錄時已記錄每字時間戳,用戶只需指定字型風格(如 CoolVetica)和動畫方式(文字隨說話同步出現)。配樂方面,用戶指定背景音樂檔案和級別(建議 -22 至 -23 分貝用於說話頭),Claude 自動跨全片混音,無需關鍵幀或手動漸變。最後導出:Claude 渲染成品、在下載資料夾放副本、保留整個專案資料夾在本機。若未來需修改其中一幀圖形,專案檔案原封不動地等著,無需重新開始。

整個過程中用戶只做創意決策(調色、速度、擺位),Claude 負責繁瑣的 80%(轉錄、剪輯、圖形生成、字幕、混音、導出)。沒有微觀管理、沒有時間軸拖拽、沒有工具切換,一切在 Claude 應用內完成。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。