KeyFrame內部研究專用

人類跌入科技陷阱?未來50年點面對AI等科技威脅?|#未來學 EP52

學識 Hok6·6月20日週六·47 min中文

三句話摘要

科技進步必然伴隨副作用,在資本主義與人性貪婪的雙重驅動下,科技陷阱已成為影響人類50年至500年前景的核心議題。 科技陷阱是人類宿命的一部分,但通過民主制衡、科學教育與公眾參與,我們可以把握科技發展的方向盤,使其服務於全人類的未來而非少數資本家的利潤。 1. 科技陷阱兼具普遍性與特殊性

重點整理

重點
  • 1

    1. 科技陷阱兼具普遍性與特殊性

  • 2

    從數百萬年前人類用骨頭當武器,到發明語言能說謊、農業革命產生階級壓迫,科技陷阱貫穿人類發展。但在現代資本主義制度下,利潤競逐與資本膨脹邏輯將這個問題惡化到空前程度——企業不斷推陳出新,即使有負面後果也要發展,因為不發展就會被競爭對手超越。

  • 3

    2. 資本主義是加速劑而非根源

  • 4

    資本主義源於亞當.史密斯的分工理論,本質上是提高效率的進步發明。但分工一旦與貨幣經濟結合,金錢與技術專利就被掌握在少數人手中。政府監管陷入悖論:磷蝦油未流行前,如何制定禁捕法規?電子煙出現後,禁與不禁都陷入兩難。這種「道高一尺、魔高一丈」的競賽無法在資本主義框架內解決。

  • 5

    3. 人性的貪婪超越制度設計

  • 6

    即便超越資本主義,人類的好奇心、惡意、愚蠢仍會推動危險科技發展。「村里白癡」(Village Idiot)概念深刻:掌握強大毒藥的白癡能毒死全村,掌握核武或失控AI的人類同樣威脅世界。Anthropic公司的Claude開發者已發聲警告AI可能失控,領先者喊「停止競賽」但後追者不會停。

  • 7

    4. 唯一出路在民主制約與科普

  • 8

    邱吉爾名言:民主是最糟的制度,除了所有其他制度。民主的核心是制衡與監督,而非效率。解決科技陷阱的根本在於把科學從科技巨企手中奪回,實現「民有、民治、民享的科學」。這需要公眾教育與科學素養提升,讓每個人都能評估科技的利弊。

實用技巧與重點

乾貨
  • 核心概念
  • 科技反噬論(Technological Backlash)、科技陷阱
  • Technophilia(技術崇拜) vs Technophobia(技術恐懼) vs Technoneutralism(技術中性論)
  • Technostructuralism(科技結構主義):科技影響不能一概而論,必須分析當時政治、經濟、社會制度
  • 歷史案例
  • 1811年英國諾丁漢紡織機反抗運動,領導人Ned Ludd,後稱Luddite(盧德分子)
  • 2019年撰寫、2020年出版《人類的前途:未來50與500年》(英文版《Humanity: The Next 50 and 500 Years》)
  • 《The Quest for Cyber-Cythera: Informatization and the Modernization of China》探討信息化與現代化關係
  • 現代例案
  • 電子煙(Vaping):傳統煙草被禁,商人發明電子煙開闢新市場,澳洲至今難以監管
  • 磷蝦油(Krill):南極磷蝦被發現含高Omega-3,遭大規模捕捉,數量大跌,嚴重破壞南洋生態
  • 理論工具
  • 目的理性(Purpose Rationality) vs 工具理性(Instrumental Rationality)
  • 博弈論應用:囚犯困境(Prisoner's Dilemma)解釋氣候變化、AI軍備競賽為何無法約束
  • 藍海戰術 vs 紅海戰術:開拓新市場獲超額利潤,但未必符合社會利益
  • "Science of the people, by the people, for the people"(借用林肯政治名言)
  • 組織與技術
  • Anthropic公司Claude模型已發出警告,公司領導人呼籲社會共同討論AI發展邊界
  • 聯合國、國際氣候峰會等多邊機制面臨集體行動困境

結論

結論

科技陷阱是人類宿命的一部分,但通過民主制衡、科學教育與公眾參與,我們可以把握科技發展的方向盤,使其服務於全人類的未來而非少數資本家的利潤。

完整解析

詳細

科技進步在人類發展中總是雙面刃。這個認知可以追溯到古老的神話與文學。《創世記》講述人類因智慧而被逐出伊甸園;《2001太空漫遊》開場以一根骨頭象徵工具使用如何開啟人類的智慧——同時也開啟了互相殘殺的道路。從火、語言、農業革命到工業革命,每次科技飛躍都伴隨著本意外的後果。農業革命帶來食物盈餘,卻衍生出階級社會與階級壓迫;文字延伸了語言的力量,卻也延伸了謊言與煽動仇恨的能力。

這些現象構成了所謂「科技陷阱」或「科技反噬」。許多人的直觀反應是採取「技術中性論」——水能載舟亦能覆舟,刀本身無善惡,只有使用者有善惡。但這種看法過於簡化。一個更準確的框架是「科技結構主義」:科技的好壞無法脫離當時的政治、經濟、社會制度而言,必須具體分析。現代資本主義制度確實加劇了問題。由於利潤競逐與資本膨脹的邏輯,企業被迫不斷創新,即使新科技帶來社會危害也要推進。電子煙與磷蝦油就是典型例子——前者填補傳統煙草禁令造成的市場空缺,後者利用Omega-3效果的營銷熱潮導致南極生態崩壞。政府監管總是滯後的:在危害被認知前,如何制定預防法規?

許多人認為只要超越資本主義,科技陷阱就會消解。這是一種誤解。人類的好奇心、貪婪、甚至愚蠢是獨立於制度的。「村里白癡」(Village Idiot)的恐怖之處在於,一個掌握強大科技的愚人或惡人能輕易摧毀整個社區——正如今日掌握核武或失控AI的可能性。即使在超越資本主義的未來社會,人類仍可能因為好奇或執念而推進危險的AI、機械人技術。Anthropic公司已發出驚人警告,其領先的Claude模型可能已經不受控。這像是一場軍備競賽,領跑者喊「停止吧」,但其他競爭者卻因害怕被超越而繼續加速——最終所有人都跑向懸崖。

解決的出路不在於尋找靈丹妙藥的政策,而在於兩個層面。宏觀層面,民主制度雖有低效之嫌,卻提供了制衡與監督機制——相比之下,寄望於「聖人明君」的中央集權更容易誕生暴君。國際層面則陷入囚犯困境:各國都想減少碳排放,但若自己減而他人不減,則經濟受損而全球環境無改善,因此沒人敢真正減少。微觀層面,真正的突破在於科普教育與提升公眾科學素養。讓科學與技術掌握在人民手中而非科技巨企,實現「民有、民治、民享的科學」(Science of the people, by the people, for the people)——這是1976年遺傳工程大辯論時已提出的理想。當每個人都能理解科技的利弊,就能對科技巨企的決策施加制約。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。