KeyFrame內部研究專用

AI3 0 EP04: 意义的鸿沟

逻辑书简·6月13日週六·6 min中文

三句話摘要

深度學習系統缺乏真正的「理解」能力,其脆弱性根源於對統計模式的依賴,而非概念與類比的建構。 深度學習掌握的是統計規律而非概念理解,在對抗性攻擊、算法偏見、長尾失靈三重脆弱性面前,「類比與概念」才是通往真正 AI 理解的核心障礙。 對抗性攻擊揭示 AI 的根基脆弱:深度學習系統依賴特定統計模式而非概念理解,因此隨機噪點圖像可被以近百分之百置信度分類為特定物體,說明系統從未真正「習得」物件的本質。

重點整理

重點
  • 1

    對抗性攻擊揭示 AI 的根基脆弱:深度學習系統依賴特定統計模式而非概念理解,因此隨機噪點圖像可被以近百分之百置信度分類為特定物體,說明系統從未真正「習得」物件的本質。

  • 2

    人類理解建立在三種核心直覺之上:直覺物理學(物體如何運動)、直覺生物學(生物與非生物的區別)、直覺心理學(他人的意圖與情感),這套能力來自嬰兒期便開始的親身經驗積累,而非規則列舉。

  • 3

    黑箱與長尾效應是 AI 高風險應用的雙重隱患:用於信貸或司法的 AI 會從有偏見的歷史數據中學到歧視,且在訓練集中極罕見的邊緣情況下必然失靈,而現實中這些情況往往最為關鍵。

  • 4

    Hofstadter 的類比理論點出核心缺口:真正的智能需要跨語境感知共同本質(如 ABC→ABD 類比 XYZ→XYA),這種概念遷移能力是現有深度學習架構尚無法實現的。

實用技巧與重點

乾貨
  • 工具/模型名稱:GPT-3、深度卷積神經網路(CNN)、特斯拉 AI
  • 人物:認知科學家 Douglas Hofstadter、特斯拉 AI 總監 Andrej Karpathy
  • 具體案例:貓圖 + 不可見噪點 → 系統識別為長臂猿;隨機噪點圖像 → 置信度接近 100% 分類為教車
  • 具體案例:Atari 遊戲中球拍移動幾個像素 → 系統表現驟然崩潰
  • 核心論斷:「沒有概念,就沒有思想;沒有類比,就沒有概念」(Hofstadter)
  • 字符串類比實驗:ABC→ABD,XYZ→? 答案應為 XYA(需感知 Z 為字母表末端,類比跳回 A)
  • Karpathy 分析奧巴馬更衣室照片所需推理鏈:識別鏡像 → 感知三維空間 → 推測隱藏意圖 → 理解玩笑的社會語境 → 預測他人心理狀態
  • Karpathy 結語原文:「我們真的、真的相距甚遠」
  • AI 三大限制維度:對抗性脆弱性、算法偏見與黑箱問題、長尾效應(罕見情況失靈)
  • 下集預告:討論米歇爾提出的六個最關鍵問題

結論

結論

深度學習掌握的是統計規律而非概念理解,在對抗性攻擊、算法偏見、長尾失靈三重脆弱性面前,「類比與概念」才是通往真正 AI 理解的核心障礙。

完整解析

詳細

2012 年深度學習在 ImageNet 競賽中的勝利,以及 AlphaGo 在圍棋上的突破,讓世人對 AI 的能力充滿期待。然而,一系列「對抗性攻擊」實驗正在系統性地揭示這些進展的脆弱根基:研究者只需在圖片上疊加肉眼幾乎無法察覺的噪點,訓練至超人類水準的圖像識別系統便會以近乎 100% 的置信度做出完全錯誤的判斷。更令人不安的是,即使是看起來完全像隨機噪聲的圖片,系統也能「自信地」將其歸類為具體物體。在 Atari 遊戲中,只要將球拍在螢幕上移動幾個像素,系統的表現就會驟然崩潰——這說明它從未習得「球拍」的概念,只是記住了某種特定的像素配置。

理解為何會如此,需要先理解人類的認知方式。當我們看到一位推著嬰兒車、牽著狗、邊打電話過馬路的女士,我們在瞬間完成了大量推理:狗可能突然亂跑、按喇叭她會轉頭、她的鞋子不會飄走。這些「不言而喻」的判斷建立在三種核心直覺之上——直覺物理學(物體運動規律)、直覺生物學(生物與非生物的本質差異)、直覺心理學(他人的意圖、信念與情感)。心理學家稱之為「心智模型模擬」,嬰兒從出生起便開始建立這套系統,它源自無數次的親身體驗,而非任何規則的列舉。深度學習系統在處理數百萬張標注圖片後,依然沒有具備這種基礎能力。

除了感知層面的脆弱,深度學習在高風險應用中還面臨兩個結構性問題。其一是算法偏見與黑箱問題:當 AI 被用於信貸評估或刑事司法風險評估時,系統從包含歷史不平等的數據中學習,學到的不是「什麼是正確的」,而是「過去發生了什麼」,結果便對特定群體產生系統性偏見,而其不可解釋的內部結構使得問責幾乎不可能。其二是長尾效應:系統在常見情況下表現出色,但在訓練集中極罕見的邊緣情況下必然失靈,而現實世界中這些少見情況往往最為關鍵——人類駕駛員在遇到從未見過的路況時,會以常識進行類比推理,這種遷移能力是深度學習目前尚不具備的。

認知科學家 Hofstadter 以「字符串類比實驗」精準定位了核心缺口:ABC→ABD,XYZ 應如何類比改變?正確答案是 XYA——這需要先感知到 Z 是字母表的末端,再類比地跳轉回首字母 A。這種跨語境感知共同本質、實現概念遷移的能力,正是他所定義的「真正的類比能力」,也是他論斷的核心:「沒有概念,就沒有思想;沒有類比,就沒有概念。」特斯拉 AI 總監 Karpathy 分析奧巴馬在更衣室惡作劇的照片,列出人類在看一眼時所完成的完整推理鏈——識別鏡像、感知三維空間、推測隱藏意圖、理解玩笑的社會語境、預測他人心理狀態——最後坦言:「我們真的、真的相距甚遠。」這不是對 AI 潛力的否定,而是對人類智能真實複雜性最誠實的正視。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。