KeyFrame內部研究專用

Building an Agentic Video Editor for Mass Consumer — Ekaterina Deyneka, Reelful

AI Engineer12 min中文
觀看原始影片

三句話摘要

代理式影片編輯——用 AI 代理自動理解素材、生成創意計畫並執行完整後製工作流程,讓使用者只需上傳媒體和指示就能產出專業成品。 代理式影片編輯透過將複雜的編輯判斷轉譯為程式碼邏輯與專化工作流程,讓 AI 代理能從真實素材中自動產出專業級成品,同時以行動優先和模板化設計降低使用者負擔。 代理式影片編輯相比生成式內容的根本差異在於約束條件——代理不能憑空創造,必須從既有素材中精選最佳時刻、決定取捨、組織結構,同時應付不完整或混亂的素材,最終交付專業級成品。

重點整理

  1. 代理式影片編輯相比生成式內容的根本差異在於約束條件——代理不能憑空創造,必須從既有素材中精選最佳時刻、決定取捨、組織結構,同時應付不完整或混亂的素材,最終交付專業級成品。

  2. 基礎設施類似代理式應用建構工具,都採用遠端沙箱環境讓代理執行工具和技能,差異在於代理處理的物件(應用程式碼 vs. 影片合成),以及因此需要的特化驗證層。

  3. 將影片編輯任務轉譯為代碼(Remotion 框架)是核心策略,因為代理天生擅長撰寫程式碼,這樣做能將複雜的視覺編輯工作轉換為代理容易理解和執行的指令。

  4. 為了將複雜工作流程大規模交付給使用者,Realful 採取三層設計:行動優先降低進入門檻、方向性模板免除提示工程負擔、內建編輯器保留人工微調的靈活性。

實用技巧與重點

  • 框架與技術:Remotion(開源框架,用 React 程式碼建立影片)
  • 融資:16z Speedrun
  • 核心工作流程:媒體理解 → 語音轉錄 → 創意計畫 → 使用者審核核准 → 沙箱環境啟動 → 代理執行編輯技能 → 遠端合成 → 驗證層檢查 → 成品輸出
  • 代理技能清單:剪輯規則、選擇最佳時刻、字體配對、B-roll 生成、音樂生成、旁白生成、聲音設計、照片動畫化
  • 方向性模板:說話對鏡頭、添加 B-roll、添加旁白等預設選項
  • 編輯功能:移除不適當片段、移除暫停、生成字幕、生成音樂、生成旁白、B-roll 生成、照片動畫化

結論

代理式影片編輯透過將複雜的編輯判斷轉譯為程式碼邏輯與專化工作流程,讓 AI 代理能從真實素材中自動產出專業級成品,同時以行動優先和模板化設計降低使用者負擔。

完整解析

Kate 指出影片編輯是一項耗時且大多仍需手工操作的工作,導致許多人即使在會議、旅遊、活動中錄製豐富素材,也因編輯困難而從不公開分享。Realful 團隊決定從代理自動化的角度來解決這個問題。

代理式影片編輯的核心概念是:使用者只需提供媒體檔案(照片或影片)和編輯方向(例如添加字幕、音樂、旁白),代理就會自動理解素材內容、制定創意計畫、執行編輯工作、生成補充素材,最後交付一個可直接分享的成品片段。舉例來說,如果使用者錄製了一支對著鏡頭說話的影片,代理可以自動偵測並移除失敗片段和暫停,產出流暢完成的版本。

從基礎設施角度看,Realful 的架構與代理式應用建構工具類似:都採用遠端沙箱環境執行代理工作。不同之處在於,應用建構工具的代理處理程式碼庫並輸出應用預覽,而影片編輯代理則處理影片合成並輸出渲染後的影片。更重要的差異是編輯相比生成的複雜性——代理必須在既有素材的約束下做出最佳判斷,這需要專門的驗證層來確保品質。

技術實現方面,Realful 使用 Remotion(開源框架)將影片編寫成 React 程式碼。代理透過一組專化的技能執行工作:包括剪輯規則、時刻選擇、字體配對、B-roll 生成、音樂生成、旁白生成、聲音設計,以及照片動畫化。這種程式碼導向的方法充分利用了代理擅長寫程式碼的特點。工作流程從媒體理解和語音轉錄開始,隨後生成創意計畫供使用者審核核准,核准後啟動沙箱環境讓代理執行,最後通過驗證層檢查品質並迭代修正。

為了將這套複雜工作流程大規模交付給主流使用者,Realful 採取三項設計策略:行動優先,讓使用者在行走、駕駛或其他場景下編輯影片;提供方向性模板(如「對鏡頭說話」、「添加 B-roll」),免除使用者自行撰寫提示的負擔;內建傳統影片編輯器,讓使用者在代理生成成品後可進行細微調整。Kate 示範的所有範例影片都是完全由代理組裝、未經傳統編輯器觸碰的成品,並已在社群媒體上發布。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。