KeyFrame內部研究專用

OpenMontage + Antigravity Changed My Editing Game (It's Free)

AI with Surya11 min中文
觀看原始影片

三句話摘要

使用 Open Montage 和 AI 代理自動化影片製作,從原始錄音到成品視頻的完整流程。 Open Montage 透過模組化設計與詳細提示工程,將影片編輯從耗時手工作業轉變為成本可控的 AI 自動化流程。 架構設計五層次:Open Montage 倉庫包含說明文件(訓練手冊)、12 種管道(食譜、解說、訪談等)、50 個 Python 工具、Remotion 渲染引擎,以及「無內置 LLM」的設計理念,需使用者自行提供大型語言模型。

重點整理

  1. 架構設計五層次:Open Montage 倉庫包含說明文件(訓練手冊)、12 種管道(食譜、解說、訪談等)、50 個 Python 工具、Remotion 渲染引擎,以及「無內置 LLM」的設計理念,需使用者自行提供大型語言模型。

  2. 工作流程邏輯:講者錄製一分鐘的原始影片素材 → 提交給 AI 代理 → 代理讀取說明文件與管道食譜 → 使用工具生成動畫、效果、時間戳 → 渲染成最終 MP4 檔。本地執行 0 成本,只需付費給 LLM API。

  3. 提示工程的重要性:模糊指令(「為影片添加酷炫圖形」)導致品質低落;詳細指令(指定時間間隔、視覺概念、具體效果)才能產生符合預期的實施計畫,給予使用者修改空間。

  4. 成本優化與模型選擇:Gemini 3.5 Flash 速度快、成本低(約一美元級別),而 Fable 等推理模型會大幅提升成本;編輯工作透過免費 Open Montage 完成,LLM 主要用於決策與計畫生成。

實用技巧與重點

  • 環境需求:Python、Node.js、FFmpeg
  • 安裝時間:5-10 分鐘
  • Open Montage 星數:36,000
  • 倉庫結構:1,000+ 檔案、12 種管道(食譜、解說、訪談、紀錄片、逐步教學等)
  • 工具數量:約 50 個 Python 腳本
  • 本地運行成本:0 美元
  • API 成本參考:$1 左右(使用 Gemini 3.5 Flash)
  • 語音引擎:Piper(免費本地版)或 11 Labs(付費)
  • 渲染引擎:Remotion + Node.js
  • 建議模型:Gemini 3.5 Flash(速度快、成本低)
  • 提示範例:指定時間戳(每 5 秒)、視覺概念、數學概念、動作技能等
  • 影片案例:31 秒影片,每 5 秒插入動態圖形

結論

Open Montage 透過模組化設計與詳細提示工程,將影片編輯從耗時手工作業轉變為成本可控的 AI 自動化流程。

完整解析

開源影片製作領域長期面臨一個核心痛點:編輯成本高。講者分享自身數據——製作 120 支影片的經驗中,每一分鐘的音軌需花費十分鐘進行剪輯、圖形、字幕等後期處理,已成為實質上的「第二份工作」。Open Montage 正是針對這個問題設計的自動化解決方案。

Open Montage 是一個 GitHub 開源專案(36,000 星),核心創新在於「無內置 LLM」的架構。倉庫包含五個主要元件:Markdown 訓練文檔(教導 AI 代理執行影片製作流程)、12 種預設管道食譜(針對訪談、紀錄片、逐步教學等不同類型)、約 50 個 Python 工具腳本、Remotion 渲染引擎,以及使用者自行提供的大型語言模型。這個設計意味著所有本地運算(生成動畫、效果、編輯)完全免費,成本僅來自 LLM API 調用。

實作流程包括三個步驟的環境配置(安裝 Python、Node、FFmpeg,5-10 分鐘完成)、克隆倉庫、建立 Python 虛擬環境、安裝 Remotion 與 Piper 語音引擎。配置完成後,使用者錄製一段原始影片或音軌,提交給 AI 代理並給予詳細指令。AI 代理讀取倉庫內的說明文件與管道食譜,使用 Python 工具生成時間戳、動畫效果、視覺元素,最後透過 Remotion 渲染為最終 MP4 檔。

提示工程在此流程中至關重要。講者現場展示對比:模糊指令「為我的影片添加酷炫圖形」導致 AI 代理任意應用效果,品質平庸;而詳細指令「在素材中每隔 5 秒插入圖形,涵蓋視覺概念、數學概念、口語數字、抽象編輯技巧」則能產生明確的實施計畫,包括具體時間戳,使用者可逐一審核修改。這種「可控輸出」相比「模型粗糙產物」,品質提升顯著。

模型選擇也影響經濟效益。Gemini 3.5 Flash 因速度快、成本低(約一美元級別),成為講者推薦;而 Fable 等推理模型雖然功能強大,但會大幅增加成本,在純決策與計畫生成的使用場景下不夠划算。整體而言,這套工作流將每分鐘影片的後期成本從人工十倍時間降低至數秒的 AI 處理加幾美元 LLM 費用。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。