LLM 賭錯方向了？從駕馭工程到世界模型 | S2E54
三句話摘要
大語言模型加上 Harness Engineering 無法獨力達成 AGI，世界模型（World Model）是補足其物理理解缺口的另一條路。 --- LLM 加上 Harness Engineering 是當前主流但有天花板，世界模型（JEPA）正在突破算力門檻，未來 AGI 最可能是兩者加上 Harness 的混合架構。 1. Harness Engineering 是短期主流，但有天花板
重點整理
重點- 1
1. Harness Engineering 是短期主流，但有天花板
- 2
LLM 本身無狀態且存在幻覺，Harness Engineering 透過外加控制流程與記憶機制來補足，這是目前讓 AI agent 輸出穩定的主要手段，但它治標不治本，無法解決 LLM 對物理世界理解不足的根本問題。
- 3
2. 世界模型與生成式模型本質不同
- 4
Sora、Kling 等影像生成模型是「知其然不知其所以然」——它們畫出看起來合理的下一幀，但不理解物理定律。世界模型則聚焦建立高層次抽象，讓模型像人類一樣具備對物理世界運作的直覺推理能力。
- 5
3. JEPA 的突破：從超高算力到單 GPU 可訓練
- 6
楊立昆提出的 JEPA（聯合嵌入預測架構）在潛在抽象空間做預測，避免渲染冗餘細節。過去因「特徵崩塌」問題需要 Meta 等級算力；AMI Labs 的 LeWorldModel 論文透過強制輸出向量符合常態分布解決此問題，將訓練門檻降至研究生等級。
- 7
4. 未來可能是 LLM + 世界模型 + Harness 的混合架構
- 8
如同人類大腦有語言理解、運動直覺、理性分析等不同模組，未來 AI 架構可能是多種模型協同運作，這種趨同於人腦的設計方向引發了對「人類與 AI 邊界」的深層哲學思考。
- 9
--
實用技巧與重點
乾貨- 具體數字與規模
- LeWorldModel：1500 萬（15M）參數、1 張 GPU、數小時訓練完成
- Claude Code 洩露原始碼：3000+ 行專門處理 Harness 狀態管理
- 目前世界模型推測能力：僅約 5 步，長任務結果模糊
- AI 生成釣魚網站（Okta 案例）：30 秒內完成
- 工具 / 模型 / 平台
- 模型：Opus 4.7、GPT-5.5、DeepSeek V4、Sora、Genie（Google DeepMind）
- 平台：Claude Code、Cloudflare R2 Bucket、Meta Developer Platform
- 架構：JEPA（Joint Embedding Predictive Architecture）、LeWorldModel
- 組織：AMI Labs（楊立昆 2026 年初創立）、Meta AI / DeepMind
- Meta API 開發坑（實戰流程）
- Meta 開發者後台建立 App，Use Case 必須選「其他（Other）」才能獲得 Instagram 權限（雖顯示即將 deprecated）
- Threads 無法與 Instagram/Facebook 同 App，需另建獨立 App
- 直接上傳影片到 Instagram 持續出現 400 error，解法：先上傳到 Cloudflare R2 Bucket，再用 video URL 方式上傳至各平台
- 論文
- LeWorldModel（AMI Labs，2026 年 5 月發表）
- Genie（Google DeepMind，世界模型相關研究）
- --
結論
結論“LLM 加上 Harness Engineering 是當前主流但有天花板，世界模型（JEPA）正在突破算力門檻，未來 AGI 最可能是兩者加上 Harness 的混合架構。”
完整解析
詳細過去幾年，大語言模型以驚人速度迭代——Opus 4.7、GPT-5.5、DeepSeek V4 接連推出，每一次發布都讓人感覺距離 AGI 更近了一步，卻又在實際使用後發現依然存在不小的落差。這種「近了又遠」的感受，源自 LLM 兩個根本性缺陷：一是無狀態（每次對話都必須重新給足上下文），二是幻覺（輸出存在一定程度的不可預測性）。為了彌補這些不足，Harness Engineering（駕馭工程）的概念逐漸成熟——從 Claude Code 洩露的原始碼可以看到，其中有超過 3000 行程式碼專門在做狀態管理、控制流程、MCP 溝通等工作，本質上就是在 LLM 外部蓋一層骨架，讓輸出更穩定、更可控。
然而，Harness Engineering 能否將我們帶至 AGI，仍是一個開放問題。這也是楊立昆（Yann LeCun）長期以來的核心論點：光靠 LLM 是不夠的。他從 2022 年開始倡導世界模型，並於 2025 年底離開 Meta，在 2026 年初成立 AMI Labs 專門投入此方向。世界模型的核心理念，在於讓 AI 真正理解物理世界「為什麼」會這樣運作，而非只是預測「表面上接下來看起來像什麼」。Sora 等影像生成模型能畫出流暢的下一幀，但它是靠統計匹配，並不理解重力、慣性等底層物理規律，偶爾仍會產生違反物理的畫面。反觀人類看到前車突然切入，不需要逐像素分析，直覺就知道要煞車——這種高層次的抽象推理，才是世界模型想要模擬的能力。
楊立昆提出的解決方案是 JEPA（Joint Embedding Predictive Architecture，聯合嵌入預測架構）。與生成式模型在像素或 token 層級做預測不同，JEPA 將輸入映射到低維度的潛在抽象空間，只保留關鍵的因果資訊，捨棄旁邊搖曳的樹葉等不重要細節，在這個空間做預測。然而，JEPA 長期面臨「特徵崩塌」問題：模型聰明地發現，把所有輸入映射到同一個向量就能得到高分，導致訓練失效，而過去的修補方案都需要 Meta 等級的超大算力。AMI Labs 在 2026 年 5 月發表的 LeWorldModel 論文提出一個簡潔的解法——強制模型輸出向量符合常態分布（鐘形曲線），讓模型無法走捷徑。這個突破將訓練門檻從超大型機房降至 1500 萬參數、單張 GPU、數小時即可完成，是一個量級上的飛躍。
當然，目前世界模型的成果仍相當初步：只能推測約 5 步，長任務結果模糊，且只在模擬環境中運行，尚未部署到真實機器人。但門檻降低本身意義重大，代表更多研究者可以投入。主持人最後的預測是：未來最可能的形態是「LLM + 世界模型 + Harness Engineering」的混合架構——如同人類大腦同時具備語言理解、運動直覺、理性推理等不同模組，AI 也將整合多種類型的模型協同運作。這種愈來愈接近人腦架構的設計趨勢，也讓人不禁思考：當 AI 在結構上越來越像人，人類的獨特性究竟剩下什麼。
---
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
