KeyFrame內部研究專用

Fugu Ultra: A Model That Beats Mythos and Fable? This Can't Be True...

World of AI·6月23日週二·8 min英文

三句話摘要

Sakana 實驗室發布 Fugou 模型編排系統,聲稱提供無出口管制限制的 Mitos/Fable 5 替代方案。 Fugou 作為模型編排系統提供基礎設施冗餘,但實測性能與成本不穩定,難以證實其 Fable 5 等級的聲稱,適用於優先考慮供應商多元化而非單純性能最優的場景。 Fugou 本質為模型路由系統而非單一模型:其 7 億參數的核心功能是根據請求內容選擇最適合的基礎模型、分配工作、驗證答案後整合結果,功能類似優秀的總承包商而非直接執行者。

重點整理

重點
  • 1

    Fugou 本質為模型路由系統而非單一模型:其 7 億參數的核心功能是根據請求內容選擇最適合的基礎模型、分配工作、驗證答案後整合結果,功能類似優秀的總承包商而非直接執行者。

  • 2

    團隊背景與技術可信度:CEO David Ha 出身 Google Brain,co-founder Leon Jones 是《Attention Is All You Need》原始論文作者之一,路由機制經過訓練而非簡單的 if 語句堆砌,與會議論文關聯。

  • 3

    效能聲稱與實測落差:在 Sakana 發佈的基準測試中 Fugou Ultra 達 93.2 (LiveCode Bench) 與 95.5 (GBQA Diamond),但社群實測顯示在某些任務(如 3D 渲染)表現優異,在其他場景與 Opus 4.8 或 GPT-4o 相當但並未明顯超越,特別是相較 Fable 5 差距明顯。

  • 4

    基礎設施冗餘與成本考量:Sakana 主張單一廠商模型存在風險(Anthropic 的撤下就是例子),編排系統可實現供應商切換;但成本不穩定,同一任務對不同模型成本差異大(如 GLM 4 Ultra 每百萬 token $3 cent vs Fugou $51 cent),實際節省取決於路由選擇準確度。

實用技巧與重點

乾貨
  • 定價結構
  • 標準 Fugou:$5/百萬輸入 token、$30/百萬輸出 token
  • 訂閱方案:$20-$200/月
  • 對比:GLM 4 Ultra $3/百萬 token、Opus 4.8 $31 cent(單次任務)、GPT-4o $26 cent(單次任務)
  • 效能數據
  • LiveCode Bench:93.2(Fugou Ultra)
  • GBQA Diamond:95.5(Fugou Ultra)
  • 實測:雞過馬路遊戲 22 分鐘完成(Fugou Ultra)vs 79 分鐘(Opus 4.8)、成本 $7.32 vs $37.85
  • 限制條件
  • EU 禁用(隱私規則)
  • 無法查看每個請求使用的具體模型(黑盒設計)
  • 效能因 prompt 和路由模型而異
  • 團隊與機構
  • CEO:David Ha(Google Brain 出身)
  • Co-founder:Leon Jones(Transformer 論文《Attention Is All You Need》作者)

結論

結論

Fugou 作為模型編排系統提供基礎設施冗餘,但實測性能與成本不穩定,難以證實其 Fable 5 等級的聲稱,適用於優先考慮供應商多元化而非單純性能最優的場景。

完整解析

詳細

美國出口管制令剛剛限制公開存取 Anthropic 的 Mitos 與 Fable 5 模型,Sakana 實驗室隨即推出 Fugou 作為直接應對方案。Fugou 的創新不在於基礎模型能力,而在於其編排架構:核心是一個 7 億參數的路由器,接收用戶請求後,透過訓練好的決策邏輯選擇最適合的基礎模型組合、分配工作、驗證結果並整合輸出。這種設計類似聘請一位懂行的總承包商,而非直接雇用一位通才。Sakana 團隊包括 Google Brain 出身的 CEO David Ha 與 Transformer 論文共同作者 Leon Jones,其路由機制經過實際訓練而非簡單規則堆砌,已與會議論文掛鉤,這些背景讓其技術聲稱值得認真看待。

在性能層面,Fugou Ultra 聲稱在 LiveCode Bench 達 93.2、GBQA Diamond 達 95.5,並宣稱與 Fable 5 和 Mitos 相當。然而所有基準測試均為 Sakana 內部報告,尚缺第三方獨立驗證。社群實測顯示,Fugou 在某些領域(如 3D 渲染)表現突出,甚至勝過 Opus 4.8 與 GPT-4o,但在其他任務上差異不大,特別是與最新的 Fable 5 相比存在明顯落差。例如,在 3.js prompt 測試中 Fugou 勝出 GPT-4o 與 Opus 4.8,但在 Micron 亞硫化物生成測試中遠不及 Fable 5。成本方面也不穩定:同一任務對不同基礎模型的成本差異可達 10 倍以上,GLM 4 Ultra 每百萬 token 僅 $3,而 Fugou 該任務成本可達 $51,無法保證每次都是最經濟選擇。

Sakana 主張的核心價值在於基礎設施冗餘與 AI 主權:單一廠商模型面臨風險(Anthropic 的撤下就是活例子),編排系統允許供應商中斷時無縫切換。然而實際可靠性仍存疑:部分用戶反映路由決策不穩定、性能不如單一最優模型,某些任務甚至耗時超預期。定價結構為 $5/百萬輸入 token、$30/百萬輸出 token,亦有 $20-$200/月訂閱方案,但 EU 因隱私規則禁用,且用戶無法查看具體使用的模型(刻意黑盒設計)。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。