KeyFrame內部研究專用

We Might Actually Need to Stop AI

Nate Herk·6月16日週二·12 min英文

三句話摘要

OpenAI 與 Anthropic 同步公開呼籲國際協作以管控 AI 發展速度,但兩家公司坦承自身無法單方面停下來。 AI 最頂尖的建造者已公開承認技術失控風險並求助於世界,而你現在唯一能掌控的,是讓自己盡快具備使用這項技術的能力。 兩大 AI 實驗室同時發出求救訊號:OpenAI 與 Anthropic 幾乎同步公開呼籲建立國際監管框架,這代表連最了解這項技術的人都認為它移動速度已超出單一機構能掌控的範圍。

重點整理

重點
  • 1

    兩大 AI 實驗室同時發出求救訊號:OpenAI 與 Anthropic 幾乎同步公開呼籲建立國際監管框架,這代表連最了解這項技術的人都認為它移動速度已超出單一機構能掌控的範圍。

  • 2

    「我們想慢,但我們不能自己慢」是核心矛盾:兩家公司都說願意減速,但同時坦承競爭誘因與資本壓力讓他們無法單方面退出,需要一個能讓所有人同時停下且相互驗證的外部機制。

  • 3

    全球協議的最大難題是供應鏈,不是意願:訓練頂尖模型需要一整棟耗電量等同小型城市的建築與上萬張專業晶片,這些晶片來自全球單一供應鏈;只要有任何一方悄悄囤積晶片搶先訓練,整個協議就會瓦解。

  • 4

    AI 認知落差正在製造社會風險:建造 AI 的人與普通大眾之間存在巨大理解鴻溝——前者在呼籲全球協調,後者還把 AI 當成酷炫搜尋引擎;這個落差會讓未來的社會衝擊更難預測與消化。

實用技巧與重點

乾貨
  • OpenAI 計畫名稱:《Our Plan to Build for Everyone's Benefit》,發布日期:2026年8月8日(影片拍攝時)
  • 三大目標:① AI 自動研究員(預測 2028 年後實現)② 個人化 AGI 普及化 ③ 國際集體行動框架
  • Anthropic 訴求:建立可驗證(provable)的 AI 加速或暫停機制
  • 美國政府介入事件:6月12日,美國政府要求 Anthropic 禁止特定存取(涉及 Claude Mythos 與 Claude Fable,影片拍攝時已被叫停)
  • 訓練頂尖模型所需硬體規模:數萬張專業 GPU、整棟建築、小型城市級電力
  • 供應鏈監控可行性:晶片來源可追蹤,類比核武器檢查員機制,技術上可行但政治執行極難
  • 社群規模:講者免費社群約 40 萬名 AI 從業者、工程師、企業主
  • 個人行動建議:每週挑一件原本手動做的事(寫信、規劃週程、整理報告),改用 AI 工具完成

結論

結論

AI 最頂尖的建造者已公開承認技術失控風險並求助於世界,而你現在唯一能掌控的,是讓自己盡快具備使用這項技術的能力。

完整解析

詳細

這支影片的起點是一個罕見的歷史性訊號:OpenAI 與 Anthropic 在同一時間窗口內,各自獨立發表公開文件,要求建立國際機制來管控 AI 的發展速度。OpenAI 的計畫列出三個目標——打造能自行推進研究的 AI 系統、讓 AGI 的利益普及每個人,以及推動各國政府共同簽署集體行動框架。Anthropic 的報告則聚焦在「可驗證的暫停機制」,也就是一套讓所有國家都能確認彼此確實停下來的技術與制度架構。講者指出,這並不是兩家公司突然變得謙遜,而是一種罕見的公開認輸:他們在說「這東西跑得太快,我們一家公司控制不住」。

然而講者隨即剖析了這個訴求的根本矛盾。兩家公司同時承認,商業競爭與資本壓力讓它們無法自行放慢腳步——誰先停下來,誰就輸掉這場歷史性的競賽。因此它們呼籲的「暫停」,本質上是要求一個外部的第三方組織,能夠強制所有參與者同時停止,並且有辦法驗證沒有人在偷跑。這在外交上的難度極高:你需要美國、中國、俄羅斯等所有具備 AI 實力的國家簽署同一份協議,然後派出類似核武查察員的稽核人員,進入各國機構確認沒有人在私下訓練更大的模型。

講者認為技術層面的驗證其實並非最難的部分,因為訓練頂尖模型需要龐大且顯眼的基礎設施——數萬張專業晶片、工業級電力消耗、整棟專用建築。這些硬體來自全球高度集中的供應鏈,理論上可以追蹤。真正的牆壁是博弈邏輯:只要協議中有任何一方相信自己能悄悄搶先、拿下「歷史最大獎」,整個協議就會在第一個背叛者出現的瞬間崩潰。OpenAI 在文件中甚至直接承認這一點,說競爭誘因「難以逃脫」。

對普通人而言,講者的結論很務實:你對國際協議沒有影響力,對公司策略也沒有控制權,你唯一能掌握的是自己是否具備使用這項技術的能力。他特別點出當前存在的巨大認知落差——造 AI 的人在呼籲全球監管,而大多數人還不知道 AI 能幫他們做什麼。這個落差本身就是風險。他建議的入門方式非常具體:不要試圖創造全新的工作流程,只要把你這週本來要手動完成的一件事,改用 AI 工具做一次,從那裡開始。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。