KeyFrame內部研究專用

OpenMontage + Antigravity Changed My Editing Game (It's Free)

AI with Surya·7月29日週三·11 min中文

三句話摘要

使用 Open Montage 和 AI 代理自動化影片製作,從原始錄音到成品視頻的完整流程。 Open Montage 透過模組化設計與詳細提示工程,將影片編輯從耗時手工作業轉變為成本可控的 AI 自動化流程。 架構設計五層次:Open Montage 倉庫包含說明文件(訓練手冊)、12 種管道(食譜、解說、訪談等)、50 個 Python 工具、Remotion 渲染引擎,以及「無內置 LLM」的設計理念,需使用者自行提供大型語言模型。

重點整理

重點
  • 1

    架構設計五層次:Open Montage 倉庫包含說明文件(訓練手冊)、12 種管道(食譜、解說、訪談等)、50 個 Python 工具、Remotion 渲染引擎,以及「無內置 LLM」的設計理念,需使用者自行提供大型語言模型。

  • 2

    工作流程邏輯:講者錄製一分鐘的原始影片素材 → 提交給 AI 代理 → 代理讀取說明文件與管道食譜 → 使用工具生成動畫、效果、時間戳 → 渲染成最終 MP4 檔。本地執行 0 成本,只需付費給 LLM API。

  • 3

    提示工程的重要性:模糊指令(「為影片添加酷炫圖形」)導致品質低落;詳細指令(指定時間間隔、視覺概念、具體效果)才能產生符合預期的實施計畫,給予使用者修改空間。

  • 4

    成本優化與模型選擇:Gemini 3.5 Flash 速度快、成本低(約一美元級別),而 Fable 等推理模型會大幅提升成本;編輯工作透過免費 Open Montage 完成,LLM 主要用於決策與計畫生成。

實用技巧與重點

乾貨
  • 環境需求:Python、Node.js、FFmpeg
  • 安裝時間:5-10 分鐘
  • Open Montage 星數:36,000
  • 倉庫結構:1,000+ 檔案、12 種管道(食譜、解說、訪談、紀錄片、逐步教學等)
  • 工具數量:約 50 個 Python 腳本
  • 本地運行成本:0 美元
  • API 成本參考:$1 左右(使用 Gemini 3.5 Flash)
  • 語音引擎:Piper(免費本地版)或 11 Labs(付費)
  • 渲染引擎:Remotion + Node.js
  • 建議模型:Gemini 3.5 Flash(速度快、成本低)
  • 提示範例:指定時間戳(每 5 秒)、視覺概念、數學概念、動作技能等
  • 影片案例:31 秒影片,每 5 秒插入動態圖形

結論

結論

Open Montage 透過模組化設計與詳細提示工程,將影片編輯從耗時手工作業轉變為成本可控的 AI 自動化流程。

完整解析

詳細

開源影片製作領域長期面臨一個核心痛點:編輯成本高。講者分享自身數據——製作 120 支影片的經驗中,每一分鐘的音軌需花費十分鐘進行剪輯、圖形、字幕等後期處理,已成為實質上的「第二份工作」。Open Montage 正是針對這個問題設計的自動化解決方案。

Open Montage 是一個 GitHub 開源專案(36,000 星),核心創新在於「無內置 LLM」的架構。倉庫包含五個主要元件:Markdown 訓練文檔(教導 AI 代理執行影片製作流程)、12 種預設管道食譜(針對訪談、紀錄片、逐步教學等不同類型)、約 50 個 Python 工具腳本、Remotion 渲染引擎,以及使用者自行提供的大型語言模型。這個設計意味著所有本地運算(生成動畫、效果、編輯)完全免費,成本僅來自 LLM API 調用。

實作流程包括三個步驟的環境配置(安裝 Python、Node、FFmpeg,5-10 分鐘完成)、克隆倉庫、建立 Python 虛擬環境、安裝 Remotion 與 Piper 語音引擎。配置完成後,使用者錄製一段原始影片或音軌,提交給 AI 代理並給予詳細指令。AI 代理讀取倉庫內的說明文件與管道食譜,使用 Python 工具生成時間戳、動畫效果、視覺元素,最後透過 Remotion 渲染為最終 MP4 檔。

提示工程在此流程中至關重要。講者現場展示對比:模糊指令「為我的影片添加酷炫圖形」導致 AI 代理任意應用效果,品質平庸;而詳細指令「在素材中每隔 5 秒插入圖形,涵蓋視覺概念、數學概念、口語數字、抽象編輯技巧」則能產生明確的實施計畫,包括具體時間戳,使用者可逐一審核修改。這種「可控輸出」相比「模型粗糙產物」,品質提升顯著。

模型選擇也影響經濟效益。Gemini 3.5 Flash 因速度快、成本低(約一美元級別),成為講者推薦;而 Fable 等推理模型雖然功能強大,但會大幅增加成本,在純決策與計畫生成的使用場景下不夠划算。整體而言,這套工作流將每分鐘影片的後期成本從人工十倍時間降低至數秒的 AI 處理加幾美元 LLM 費用。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「GitHub 熱點」的內容

30 Self-Hosted Projects on GitHub: wacrm, halcyon-video, wrtag, Codeman, romm, wger, homelab, clay
12 min
GitHub 熱點英文8月18日

30 Self-Hosted Projects on GitHub: wacrm, halcyon-video, wrtag, Codeman, romm, wger, homelab, clay

GitHub Awesome

  • 數據主權與隱私核心:這些專案的共同特點是數據完全在使用者控制下,不依賴訂閱制或廠商,例如 WACRM 使用 Meta 官方 API 避免帳號停用,OpenArchiver 以 EML 標準格式本地儲存郵件,HQBase 在使用者自有 Cloudflare 帳戶內運行。
  • 現代技術棧達企業級質量:這些自架方案採用 Kubernetes、PostgreSQL、Cloudflare Workers 等企業級技術,證明開源不等於簡陋,Eden 家庭實驗室的完整配置就是最好例證。
  • 跨領域替代完整性:從業務通訊(WACRM、LibreDesk、HQBase)到多媒體(Halcyon、ROMM、Viofo Sync)、生產力(Super Productivity、Clay、Note Discovery)、財務(Tilevia、Taxhacker、Expenseive),開源生態已能覆蓋 SaaS 的主要應用場景。
The Next Game Engine Won't Have a Manual — Arturo Nunez, Nereu
19 min
GitHub 熱點中文8月18日

The Next Game Engine Won't Have a Manual — Arturo Nunez, Nereu

AI Engineer

  • 現有遊戲引擎要求開發者掌握程式設計、建模、渲染、動畫等多個領域,導致高學習曲線與冗長開發週期;Nereu 改用自然語言描述,讓使用者聚焦遊戲設計本身而非技術細節。
  • 系統採用實體-組件系統架構,每個遊戲物體只需加上描述用途的標籤(如「角色」「可動畫」「雙段跳」),引擎內的系統會自動查詢並執行相應邏輯,避免重複編寫樣板程式碼。
  • AI 助手 BB 透過場景上下文、使用者編輯位置和遊戲類型資訊,理解使用者意圖並自動新增或移除標籤;使用者隨時可提問如何實現特定功能,大幅降低認知負荷。
GitHub Trending Today #45: claudish-to-english, openanalytics, deepseek-harness, human-review, ha.mr
14 min
GitHub 熱點英文8月15日

GitHub Trending Today #45: claudish-to-english, openanalytics, deepseek-harness, human-review, ha.mr

Github Awesome

  • AI 代理與自動化趨勢:從 DeepSeq Harness 的模組化代理框架、到 Formin 的自動化軟體工廠(通過四個代理站點自動分類、規劃、實現、審查),再到 Agent Safe Pipeline 的安全隔離機制,展現 AI 代理工具生態正在成熟,重點從「能用」進化到「可控」與「可審計」。
  • 本地優先與隱私設計成為標準:Open Analytics 無 Cookie 追蹤、HA MR 瀏覽器側鏈接壓縮、BlueFairy 藍牙配對而非雲服務、TokenTab 本地成本追蹤、Mole 的預算硬約束機制,反映開發者對隱私邊界的明確劃分——不再默認上傳,而是明確選擇。
  • 開發者工具鏈的細節化:從 Human Review 的批量編輯反饋、Book to Skill 的文檔轉技能、Anti-slop 的類型安全檢查、到 PGBOT 的無寫入診斷,工具不再追求「大而全」,而是在特定工作流的某個環節解決明確問題。