KeyFrame內部研究專用

We Might Actually Need to Stop AI

Nate Herk·6月16日週二·12 min英文

三句話摘要

OpenAI 與 Anthropic 同步公開呼籲國際協作以管控 AI 發展速度,但兩家公司坦承自身無法單方面停下來。 AI 最頂尖的建造者已公開承認技術失控風險並求助於世界,而你現在唯一能掌控的,是讓自己盡快具備使用這項技術的能力。 兩大 AI 實驗室同時發出求救訊號:OpenAI 與 Anthropic 幾乎同步公開呼籲建立國際監管框架,這代表連最了解這項技術的人都認為它移動速度已超出單一機構能掌控的範圍。

重點整理

重點
  • 1

    兩大 AI 實驗室同時發出求救訊號:OpenAI 與 Anthropic 幾乎同步公開呼籲建立國際監管框架,這代表連最了解這項技術的人都認為它移動速度已超出單一機構能掌控的範圍。

  • 2

    「我們想慢,但我們不能自己慢」是核心矛盾:兩家公司都說願意減速,但同時坦承競爭誘因與資本壓力讓他們無法單方面退出,需要一個能讓所有人同時停下且相互驗證的外部機制。

  • 3

    全球協議的最大難題是供應鏈,不是意願:訓練頂尖模型需要一整棟耗電量等同小型城市的建築與上萬張專業晶片,這些晶片來自全球單一供應鏈;只要有任何一方悄悄囤積晶片搶先訓練,整個協議就會瓦解。

  • 4

    AI 認知落差正在製造社會風險:建造 AI 的人與普通大眾之間存在巨大理解鴻溝——前者在呼籲全球協調,後者還把 AI 當成酷炫搜尋引擎;這個落差會讓未來的社會衝擊更難預測與消化。

實用技巧與重點

乾貨
  • OpenAI 計畫名稱:《Our Plan to Build for Everyone's Benefit》,發布日期:2026年8月8日(影片拍攝時)
  • 三大目標:① AI 自動研究員(預測 2028 年後實現)② 個人化 AGI 普及化 ③ 國際集體行動框架
  • Anthropic 訴求:建立可驗證(provable)的 AI 加速或暫停機制
  • 美國政府介入事件:6月12日,美國政府要求 Anthropic 禁止特定存取(涉及 Claude Mythos 與 Claude Fable,影片拍攝時已被叫停)
  • 訓練頂尖模型所需硬體規模:數萬張專業 GPU、整棟建築、小型城市級電力
  • 供應鏈監控可行性:晶片來源可追蹤,類比核武器檢查員機制,技術上可行但政治執行極難
  • 社群規模:講者免費社群約 40 萬名 AI 從業者、工程師、企業主
  • 個人行動建議:每週挑一件原本手動做的事(寫信、規劃週程、整理報告),改用 AI 工具完成

結論

結論

AI 最頂尖的建造者已公開承認技術失控風險並求助於世界,而你現在唯一能掌控的,是讓自己盡快具備使用這項技術的能力。

完整解析

詳細

這支影片的起點是一個罕見的歷史性訊號:OpenAI 與 Anthropic 在同一時間窗口內,各自獨立發表公開文件,要求建立國際機制來管控 AI 的發展速度。OpenAI 的計畫列出三個目標——打造能自行推進研究的 AI 系統、讓 AGI 的利益普及每個人,以及推動各國政府共同簽署集體行動框架。Anthropic 的報告則聚焦在「可驗證的暫停機制」,也就是一套讓所有國家都能確認彼此確實停下來的技術與制度架構。講者指出,這並不是兩家公司突然變得謙遜,而是一種罕見的公開認輸:他們在說「這東西跑得太快,我們一家公司控制不住」。

然而講者隨即剖析了這個訴求的根本矛盾。兩家公司同時承認,商業競爭與資本壓力讓它們無法自行放慢腳步——誰先停下來,誰就輸掉這場歷史性的競賽。因此它們呼籲的「暫停」,本質上是要求一個外部的第三方組織,能夠強制所有參與者同時停止,並且有辦法驗證沒有人在偷跑。這在外交上的難度極高:你需要美國、中國、俄羅斯等所有具備 AI 實力的國家簽署同一份協議,然後派出類似核武查察員的稽核人員,進入各國機構確認沒有人在私下訓練更大的模型。

講者認為技術層面的驗證其實並非最難的部分,因為訓練頂尖模型需要龐大且顯眼的基礎設施——數萬張專業晶片、工業級電力消耗、整棟專用建築。這些硬體來自全球高度集中的供應鏈,理論上可以追蹤。真正的牆壁是博弈邏輯:只要協議中有任何一方相信自己能悄悄搶先、拿下「歷史最大獎」,整個協議就會在第一個背叛者出現的瞬間崩潰。OpenAI 在文件中甚至直接承認這一點,說競爭誘因「難以逃脫」。

對普通人而言,講者的結論很務實:你對國際協議沒有影響力,對公司策略也沒有控制權,你唯一能掌握的是自己是否具備使用這項技術的能力。他特別點出當前存在的巨大認知落差——造 AI 的人在呼籲全球監管,而大多數人還不知道 AI 能幫他們做什麼。這個落差本身就是風險。他建議的入門方式非常具體:不要試圖創造全新的工作流程,只要把你這週本來要手動完成的一件事,改用 AI 工具做一次,從那裡開始。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。