HTML Is All Agents Need — James Russo, HeyGen

HeyGen 的使命是透過影片解決溝通問題。雖然團隊先打造了市面上最好的 AI 虛擬形象，但講者意識到好影片遠不止虛擬形象加旁白。優質影片需要 A 卷素材（虛擬人物）、B 卷素材（背景影象和媒體）、動畫、字幕、音樂等多重元素配合。為讓 AI 代理能自動生成這些完整影片，團隊需要找到最優的中間表示格式。

經過一年多的探索，團隊嘗試過多種方案。After Effects 和 Premiere Pro 是行業金標準，但輸出雖好、對代理不友好。Lottie 和 Rive 用 JSON 或自定義 XML，能產生不錯的輸出但不是代理母語，可控性受限。Remotion 是優秀範例，但必須先教 LLM 這個框架，這扼殺了大量創造力。轉折點出現在去年 11 月 Gemini 3 釋出時——當展示 HTML 輸出示例後，LLM 自然而然傾向於生成 HTML/CSS/JavaScript，質量明顯更好。

這背後的原因很簡單：HTML/CSS/JavaScript 是 LLM 的原生語言。LLM 訓練資料中絕大多數都是網頁內容，這就是它們的母語。強行讓模型學習新的領域特定語言（DSL）無異於讓莎士比亞用日文或中文寫詩——即使給再多例子、再多教學，也得不到最好成果。與其對抗這種模式，不如讓 LLM 用母語交流。

團隊從 Gemini 3 Flash 這樣的小模型開始實驗，驗證如果小模型能用框架寫執行程式碼，大模型和程式碼代理也完全可以。經過多次嘗試不同的包裝方式，最終發現勝者是最輕薄的方案——純 HTML 加一些資料屬性作為後設資料。這個簡單設計驗證了關鍵洞察：隨著模型改進和訓練資料增加，它們對 HTML 的理解會自然深化。

然而，從 HTML 到確定性 MP4 影片並非易事。瀏覽器設計本質是非同步的——允許字型、圖片、影片等資源動態載入，頁面載入時內容可能變化。但影片需要每一幀都 100% 確定所有內容已載入、已準備就緒。Hyperframes 的創新解決方案是"凍結時鐘並逐幀搜尋"。具體做法是凍結瀏覽器的時鐘，對每一個時間點/幀確定性地等待，確保頁面所有內容載入完畢，然後截圖繼續下一幀，反覆操作直至獲取完整影片素材。結果是瀏覽器預覽的畫素最終就是影片中看到的畫素。

Hyperframes 的強大之處在於，任何瀏覽器能渲染的東西——Three.js 3D 效果、各類圖表、SVG、著色器、WebGL、WebGPU、Lottie 動畫等——現在都可出現在影片中。這極大擴充套件了創意可能。技能設計上，因為 LLM 已懂 HTML/CSS/JavaScript，HeyGen 的技能不再教程式碼語言本身，而專注於教 AI 如何製作好影片——品味、視覺原則、故事敘述、動畫邏輯。這與其他框架形成鮮明對比，其他框架的技能往往是"如何在該框架中寫程式碼"。

為保證高質量輸出，團隊持續用代理評估和迭代改進模型能力。Hyperframes Studio 支援專業動畫功能如關鍵幀編輯，允許使用者逐幀或逐關鍵幀調整所有動作，做到專業動畫師在 After Effects 中能做的一切。製作流程遵循傳統影視工作：思考敘事方式、願景使命，逐幀繪製故事板，逐幀用 HTML/CSS/JavaScript 新增動態效果，最後在 Studio 進行專業剪輯調整。這確保使用者始終擁有完全創意控制權。

自今年初發布以來，Hyperframes 已實現規模化執行。過去 90 天內，開源使用者渲染超過 130 萬個影片，267,000 位創作者嘗試使用，每天約 15,000 個影片，GitHub 獲得 32,000 星標。這是開源永久免費的框架，相容任何支援 HTML/CSS/JavaScript 編寫的程式碼代理——包括 Cloud Code、Codex、Cursor 等。講者坦誠這些模型在創意工作上仍有進步空間，團隊正推動程式碼到影片基準測試，與 LLM 實驗室和創意工作者合作，共同提升影片生成質量。