KeyFrame內部研究專用

【杰森视角 & 方菲播客】对谈AI:最智慧AI上线3天就被美国政府封杀!它让全人类的系统犹如裸奔?为什么站在技术最前沿的AI大佬们,如今反而最绝望?马斯克最疯狂的豪赌背后,藏着怎样的“吞金魔兽”!

三句話摘要

Anthropic最新模型Mythos 5因安全能力過強遭美國政府封禁,揭示AI發展正逼近失控臨界點。 --- 當AI開發商自己承認失控概率超過三分之二、卻仍無法停下來時,監管與自律都已不再是解方——速度本身就是最大的風險。 能力與封禁的矛盾:Mythos 5的網路安全能力強到Anthropic主動降智,推出Fable 5,但三天內即被越獄,最終在政府壓力下被迫下架,揭示「安全閹割」本身就是偽命題。

重點整理

重點
  • 1

    能力與封禁的矛盾:Mythos 5的網路安全能力強到Anthropic主動降智,推出Fable 5,但三天內即被越獄,最終在政府壓力下被迫下架,揭示「安全閹割」本身就是偽命題。

  • 2

    CEO立場前後矛盾:Dario Amodei一邊呼籲暫停AI發展、要求第三方嚴格測試,一邊在政府真正介入時強烈反對,顯示業界自律承諾與商業利益存在根本衝突。

  • 3

    遞歸自我改進逼近奇異點:AI已能在幾小時內完成可發表論文、幾分鐘內破解數十年數學難題,快則今年下半年即可能達到AI完全自主開發下一代的臨界點。

  • 4

    算力軍備競賽無上限:從月付12.5億美元數據中心到600億美元收購學生創業公司,資金與算力的投入規模已脫離正常商業邏輯,系統性風險持續累積。

  • 5

    --

實用技巧與重點

乾貨
  • 具體數字
  • Anthropic估值:接近一萬億美元,已轉虧為盈
  • Fable 5越獄時間:發布後三天
  • Anthropic認定AI毀滅人類概率:10–25%;文章稱人類三分之二概率失控
  • Claude Code解決路由器問題:5分鐘(普通智能體耗時超過1小時)
  • 內存芯片漲幅:去年至今漲5–6倍(同規格內存從$300漲至$1,500)
  • 韓國內存公司員工年終獎:人均40–50萬美元
  • Anthropic付Colossal數據中心月費:12.5億美元,合同至2029年(年費125億美元)
  • xAI收購Cursor母公司金額:600億美元(MIT三四個研究生,三年前創立)
  • Meta聘工程師年薪:1億美元
  • Colossal數據中心建設時間:120天(行業通常需3–4年)
  • 特斯拉FSD重大事故率:每500萬公里一次(人類為每50萬公里一次,安全4倍)
  • Cybercab計劃今年量產:百萬輛以上(無方向盤)
  • 模型/工具/平台名稱
  • Mythos 5(Anthropic最新內部模型)
  • Fable 5(Mythos 5的公開降智版,危險領域壓回第四代水平)
  • Claude Code(Anthropic主力編程智能體)
  • DeepSeek V4 Pro(中國開源模型龍頭)
  • Grok(xAI旗下模型,評價偏差)
  • Cursor(xAI以600億收購的編程工具)
  • Colossal(Musk旗下數據中心,分一代與二代)
  • SpaceX AI(SpaceX與xAI合併後實體)
  • 中國主要模型:千問、Kimi、Minimax、DeepSeek(共四五家具國際競爭力)
  • 步驟/結論
  • AI已能兩小時產出含新觀點的可發表論文(查文獻→綜合→提新論點→模擬驗證→寫稿)
  • Anthropic 90%代碼由Claude自寫,正逼近100%自主開發下一代的奇異點
  • 中國開源模型能力約為Fable 5的60–70%,定價為百分之一,落後約四五個月
  • --

結論

結論

當AI開發商自己承認失控概率超過三分之二、卻仍無法停下來時,監管與自律都已不再是解方——速度本身就是最大的風險。

完整解析

詳細

AI發展從未像現在這樣讓業界自己都感到恐懼。Anthropic在內部測試最新一代模型Mythos 5時,發現它具備掃描市面全部軟體的能力,包括運行了幾十年的Linux系統,能在幾分鐘內找出隱藏數十年的安全漏洞,並即時開發出可用的攻擊程式。這不是理論上的威脅,而是可量化、可操作的破壞能力。面對這個結果,Anthropic選擇主動降智:在網路安全、生物化學等高風險領域,將Mythos 5的能力壓回第四代水平,以降級版「Fable 5」對外發布。然而這道閘門三天就被攻破——一名Amazon工程師找到越獄方法,美國政府隨即以出口管制名義施壓,要求禁止外國用戶使用,Anthropic拒絕後最終被迫下架。

這場封禁事件的諷刺之處,在於Anthropic CEO Dario Amodei的立場前後矛盾。他一周前才公開呼籲暫停AI發展,被禁前三天又發文要求政府對新模型實施至少四個領域的第三方嚴格測試,語氣完全支持外部監管。但當政府真的採取行動時,他卻強烈反對,辯稱越獄只是「把手伸出窗外」,算不上真正逃脫。Anthropic自己承認AI毀滅人類的概率在10至25%之間,Amodei的文章更直言人類有三分之二概率失去對AI的控制。一家公司同時持有這三種立場,說明的不是立場不一致,而是整個行業在商業利益與生存風險之間找不到出路。

從能力躍升的速度來看,這種焦慮並非誇大。Anthropic有90%的代碼由Claude自己完成,Claude Code已能在幾小時內產出一篇含新觀點的可發表論文,並在幾分鐘內解開某研究員研究了數十年的數學難題。Jason本人的親身經歷更為直觀:他用Fable 5透過Claude Code在五分鐘內診斷出一個路由器問題,而兩個普通AI智能體在同一問題上折騰了超過一小時毫無進展。Claude Code在五分鐘內獨立運行、不需詢問,用排除法從軟體、硬體、網路底層各個維度同時測試,最終鎖定路由器為癥結並提供解釋。這種能力差距並非線性成長,而是呈現明顯的跳躍式提升。按照當前軌跡,業界估計快則今年下半年、慢則明年,AI將達到能完全自主開發下一代模型的奇異點。

支撐這一切的是完全失控的資金與算力投入。Anthropic每月付給馬斯克旗下Colossal數據中心12.5億美元,合同一路簽到2029年。xAI花了600億美元收購Cursor的母公司,而這家公司不過是MIT三四個研究生三年前創立的。Meta以1億美元年薪挖一位工程師。內存芯片在過去一年多漲了五至六倍,韓國內存公司的員工年終獎人均高達四五十萬美元。與此同時,中國的DeepSeek等開源模型以Fable 5百分之一的定價提供相近能力,落後幅度僅四五個月。當算力、資金、開源擴散與能力躍升同步加速,Jason的判斷是:整個系統現在「就差一層窗戶紙」,任何一個方向的突破都可能讓局面徹底改變,而且這不只是一個方向的風險,是多個方向都能觸發崩潰。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。