KeyFrame內部研究專用

Anthropic为何如此矛盾 | Bloomberg专访 | Dario Amodei | 平滑指数曲线 | 创立根源 | 宪法式AI | SaaS末日 | 国防AI | Mythos | AI治理

Best Partners TV·6月19日週五·23 min中文

三句話摘要

探討 Anthropic 公司的核心矛盾:作為最了解 AI 風險的公司,它如何在警告危險的同時加速建造更強的模型,以及這反映 AI 時代更深層的治理困境。 Anthropic 的悖論不在於一邊警告危險一邊追求成長,而在於作為 AI 時代最有權力的安全派,它本身仍然需要被安全地約束——我們真正需要的不是信任某個創始人的良心,而是建立一套哪怕再有良心的人也不能單方面決定世界走向的制度。 信任而非技術是離開的根本——達里奧強調離開 OpenAI 的真因是發現無法信任對方的價值觀誠實度,而非對 scaling laws 的分歧。這把 Anthropic 的定位從「安全研究」提升到「治理與人格」層面,解釋了為何至今堅持七位共同創始人的完整性。

重點整理

重點
  • 1

    信任而非技術是離開的根本——達里奧強調離開 OpenAI 的真因是發現無法信任對方的價值觀誠實度,而非對 scaling laws 的分歧。這把 Anthropic 的定位從「安全研究」提升到「治理與人格」層面,解釋了為何至今堅持七位共同創始人的完整性。

  • 2

    產品設計即治理選擇——Claude 的「專業溫暖」定位與憲法式 AI 訓練框架,刻意避開虛擬朋友的成癮陷阱和冷冰冰工具兩個極端。達里奧對「好模型」的定義包括不無意說謊、不欺騙、不產生幻覺、不助惡——每一項都是難以校準的旋鈕。

  • 3

    商業模式本身就是價值觀——Anthropic 刻意避開社交媒體和廣告驅動的模式,轉向企業服務、編程、生物技術,因為若商業模式與價值觀衝突,公司最終要麼背叛自我要麼無足輕重。將風險從心理傷害轉向就業重構。

  • 4

    權力來源錯位是根本困境——AI 是第一個主要由私人部門先建成的強大技術,政府合法性與民主制衡缺位。達里奧害怕公司擁有、也害怕政府擁有,更害怕政策的鐘擺式搖晃。真正需要的是制度制衡而非個人良心。

實用技巧與重點

乾貨
  • 業務規模
  • Claude Code 過去 12 個月 API 調用量年增長 17 倍
  • 單季度年化增長率達 80 倍
  • 推出 8 個前沿模型
  • 市場衝擊
  • 軟件股蒸發 2850 億美元市值(「SaaS 末日」現象)
  • 就業風險
  • 70% 美國人認為 AI 會消滅工作
  • 1/3 擔心自己工作被取代
  • 達里奧預測:一至五年內消除 50% 入門白領職位
  • 國防合作數據
  • 美軍每日可處理目標數從 1000 個提升至 5000 個(提升 5 倍)
  • 2024 年 Anthropic 與 Palantir 合作
  • 2025 年獲 2 億美元國防部相關合約
  • Mythos 模型
  • 能找出數千個網絡安全漏洞
  • 可能暴露主流操作系統潛在缺陷
  • 內部評價:「超級武器,使用應需持槍證」
  • 組織與風險
  • 風險概率:達里奧承認曾提出 10-25% 的文明崩溃風險概率
  • Anthropic 一半工作都在降低風險
  • 保留 7 位共同創始人
  • 達里奧每兩週進行一小時全公司不限主題交流
  • 商業代價
  • 不發布 Mythos 對 Anthropic 造成很大傷害
  • 該模型已大幅加快公司內部研究和下一代模型開發

結論

結論

Anthropic 的悖論不在於一邊警告危險一邊追求成長,而在於作為 AI 時代最有權力的安全派,它本身仍然需要被安全地約束——我們真正需要的不是信任某個創始人的良心,而是建立一套哪怕再有良心的人也不能單方面決定世界走向的制度。

完整解析

詳細

Anthropic 面臨的矛盾遠超表面所見。Bloomberg 訪談在追蹤一家最有資格談論 AI 風險的公司,同時也是加速建造風險本身的公司。這個悖論的根源不在技術理路,而在信任與權力。

達里奧離開 OpenAI 的故事通常被簡化為「安全派 vs 加速派」的對立,但實際上是信任的崩塌。他們都相信 scaling laws,都明白規模化的力量,區別在於達里奧發現無法信任對方的價值觀是否真誠。這一轉折把 Anthropic 的定位從純技術的「安全研究」推到「治理與人格誠實度」的層面。也解釋了為何 Anthropic 至今堅持七位共同創始人的完整性——在近萬億美元估值下,這不只是穩定信號,更是對自身價值核心的証明。

Claude 本身的產品設計融入了這套治理哲學。丹妮拉提出的「專業溫暖」定位刻意避開兩個極端:不是讓 AI 扮演成癮的虛擬朋友(會滑向注意力最大化),也不是冷冰冰的計算器。背後支撐這個定位的是憲法式 AI(Constitutional AI)——模型不只依賴人類逐條標注,而是根據跨文化、跨宗教的共識性原則進行自我約束。達里奧對「好模型」的定義也遠超簡單的「不說壞話」,而是一排難以校準的旋鈕:不要無意說謊、不要有意欺騙、不要產生幻覺、不要提供助惡的信息。每一項都需要反覆權衡,這是安全調校真正的挑戰。

Anthropic 的商業選擇進一步體現了這套邏輯。達里奧明確批評社交媒體和廣告驅動的商業模式,因為它們的核心是最大化用戶參與度。Anthropic 反而把賭注押在企業服務、編程、生物技術、製藥和能源領域。看似更符合價值觀,但實際上是把風險從心理傷害轉向工作流程重構和就業衝擊。Claude Code 的發布就是這個轉折的標誌。鮑里斯描述的不是「寫代碼補全升級」,而是工程工作本質的改寫——工程師變成任務拆解者、代碼審核者、系統整合者,同時指揮多個 Claude agent。他自己百分百的代碼都由 Claude 完成,團隊亦然。API 調用量 17 倍的年增長、單季度 80 倍的年化增長,這些數字指向同一事實:Claude Code 不是玩具,而是快速擴張的工作基礎設施。隨之而來的是軟件股 2850 億美元的市值蒸發和「SaaS 末日」的說法。

國防領域的合作最尖銳地暴露了 Anthropic 面臨的權力錯位問題。達里奧年輕時有反戰背景,但後來支持與美國國防部合作,理由是地緣政治環境已變——俄烏戰爭、台海風險、威權復興意味著民主國家必須自我防衛。這套邏輯的核心不是「AI 應該參與軍事」,而是「AI 終將成為國家力量的一部分,所以民主國家不能落後」。美軍通過 Palantir 的 Maven 系統在伊朗戰爭中使用 Claude 進行目標鎖定,每日可處理的目標從 1000 個提升至 5000 個。當主持人追問一枚據稱擊中伊朗女子學校造成 150 多死亡(多數是兒童)的導彈是否涉及 Claude 時,達里奧的防線是「人類擁有最終決策權」。但這裡的灰色地帶從未被真正回答:當 AI 把目標數提升 5 倍、把海量信息壓縮成幾個建議、把決策節奏加速,人類最後按確認鍵到底是在進行審慎判斷還是在為系統完成責任閉環?

更驚人的是 Mythos 模型的出現。它能找出數千個網絡安全漏洞,可能暴露主流操作系統的缺陷,內部人員的評價是「超級武器,使用需要持槍證」。Anthropic 的應對是玻璃翼計劃(Project Glasswing)——不是全面開放而是有選擇地提供給政府和特定組織。達里奧的邏輯是「貓鼠遊戲」:好人需要工具防守,壞人終會拿到類似技術,所以好人需要更好的模型。這個論證聽起來合理卻最危險,因為它本質上在為權力集中做合理化辯護。誰決定誰是「好人」?邊界畫在哪裡?丹妮拉承認這是非常複雜的問題,他們不一定能做得完美。

Anthropic 最深刻的自我認知來自達里奧對技術權力來源的反思。核武器、互聯網、GPS、手機都源自政府或政府項目,唯有 AI 是第一個主要由私人部門先建成、政府很晚才介入的強大技術。這是一種「危險且不穩定的狀態」。達里奧害怕公司擁有這項技術,也害怕政府擁有,更害怕政策的鐘擺式搖晃——從完全放手到極端國有化。他主張走溫和、穩定的中間路線,但這本身暴露了問題:技術已經超越了單一的治理框架。當 Claude Code 在重寫工程、Claude Cowork 在重估產業、AI 目標鎖定進入戰爭決策、Mythos 成為潛在的網絡超級武器時,安全就不能只靠公司的品格。

訪談的最後落在文明崩溃風險上。達里奧承認曾提出 10-25% 的概率,Anthropic 一半工作都在降低風險,但風險不可能降到零。他用航空公司做比喻——你可以做比別人安全十倍的航空公司,但無法保證飛機永不墜毀。當主持人追問「如果飛機有 25% 的概率墜毀你還會登機嗎」時,他坦白:沒錯,25% 太高了,所以我們目標是大幅降下來。這份誠實貴於任何安心的承諾。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。