KeyFrame內部研究專用

Truly Terrifying: When AI Learns to Lie, Where Do We Go From Here? | Zhuang Ye’s Talk 249

莊也雜談45 min中文
觀看原始影片

三句話摘要

AI 語音克隆與深度偽造技術如何被用於精準詐騙,以及普通人該如何防範。 在 AI 時代,真實已成最稀缺的奢侈品,防禦詐騙需要政府嚴刑峻法、科技公司道德鎖定、社會層面的經濟托底,更需要每個家庭用暗號與智慧守護親人。 AI 幻覺的三層根源:大語言模型本質上猜測下一個詞而非查資料;訓練評分機制獎勵它瞎猜而非承認不知道;AI 缺乏可靠的「我不知道」開關,導致它自信地編造答案。

重點整理

  1. AI 幻覺的三層根源:大語言模型本質上猜測下一個詞而非查資料;訓練評分機制獎勵它瞎猜而非承認不知道;AI 缺乏可靠的「我不知道」開關,導致它自信地編造答案。

  2. Deepfake 已超越語音進化:從 2023 年美國律師被 ChatGPT 編造的假判例坑害,到 2024 年香港跨國公司被實時多人視訊會議中的 AI 數位人物詐騙 2500 萬美元,Deepfake 已能在多人場景中同步完美偽造多個真人。

  3. 個人資訊外洩的四大管道:數據泄露(如 2019 年加拿大 LifeLabs 事件波及 1500 萬人)、社交媒體無意洩露家庭關係、合法數據經紀商的買賣、以及詐騙者透過讓老人自己報名字的誘導法。

  4. 法律與技術防護的雙重缺口:Anthropic 新模型 Fable 5 發布三天遭美國禁令,但加拿大至今缺乏完整的 Deepfake 專法,僅在 2026 年 6 月通過 C-16 法案將合成私密影像入刑,C-34 法案才在草案階段對聊天機械人進行監管。

實用技巧與重點

  • 真實詐騙案例:
  • 安省案件(2026年6月):父親 Neil 被克隆的兒子聲音騙走 6,000 加幣
  • 玛丽莲案件(2021年):銀行員工攔截 9,000 加幣詐騙
  • 香港 Arup 公司案(2024年2月):跨國工程公司被多人視訊會議詐騙 2,500 萬美元
  • 法律與政策進展:
  • C-16 法案(2026年6月18日生效):將 Deepfake 生成的私密影像入刑
  • C-34 安全社交媒體法(2026年6月10日提交):要求平台對 AI 聊天機械人負責、標記合成內容
  • Anthropic Fable 5(2026年6月發布):安全分類器將高風險問題自動降級至上一代模型 Opus 4.8
  • 美國商務部管制(2026年6月12日-7月1日):暫停外籍人士訪問新模型共 19 天
  • 防騙三鐵律:
  • 跟家人定暗號(獨特詞彙或繞口令只有家人懂)
  • 聽到求救要錢立即掛電話,翻通訊錄回撥本人
  • 要求現金或加密貨幣 = 100% 詐騙(加拿大刑事司法不允許現金保釋)
  • 數據損失統計:
  • 加拿大 2021 年起累計報案損失:2,300 萬加幣
  • 實際損失估計:真實數字的 5-20 倍(因舉報率僅 5-10%)
  • LifeLabs 數據泄露(2019):1,500 萬加拿大人受波及(當時全國人口 40%)

結論

在 AI 時代,真實已成最稀缺的奢侈品,防禦詐騙需要政府嚴刑峻法、科技公司道德鎖定、社會層面的經濟托底,更需要每個家庭用暗號與智慧守護親人。

完整解析

AI 詐騙的威脅不在於技術本身有多神祕,而在於它如何將三個層面的缺陷結合成完美風暴。首先是 AI 幻覺的根本原理。大語言模型並不查詢資料庫,而是統計性地預測下一個最可能出現的詞。在此邏輯下,編造一句流暢的假話和說一句真話在底層運算上完全相同。評分機制則加劇了這個問題:當考試只有對錯二元分,答錯和不知道都是零分時,模型被優化成了「應試油條」,傾向於瞎猜而非承認不確定性。最關鍵的是,現有 AI 根本不知道自己不知道,導致它自信地胡編答案。美國律師施瓦茨 2023 年就因此被 ChatGPT 編造的假判例坑害,被法庭罰款 5,000 美元並強制向被冒名法官道歉。

但 AI 幻覺只是第一層威脅。真正恐怖的是 Deepfake 技術的進化。2024 年 2 月,香港跨國工程公司 Arup 發生有史以來最大規模的 Deepfake 詐騙案,詐騙團伙在一場多人視訊會議中同時完美偽造了英國 CFO 與多名同事,騙走員工 2,500 萬美元。這不是簡單的聲音克隆,而是實時生成的數位人物。加拿大也未能倖免。2026 年 6 月,安省老人 Neil 因為兒子聲音「一模一樣」的電話而被騙 6,000 加幣。詐騙者需要的聲音素材只要幾秒就夠了——從社交媒體的短視訊截取即可。

個人資訊外洩是精準詐騙的前置條件。數據泄露(如 2019 年 LifeLabs 事件波及 1,500 萬加人)、社交媒體的無意洩露(親戚互動公開家庭關係網)、以及合法的數據經紀商買賣(美國至今缺乏全面隱私法,數據掮客在法律空檔中運作)都是管道。詐騙者甚至不需要事先掌握資訊,只要在電話裡帶哭腔說「奶奶是我」,老人在慌張中會自動報出名字。

防禦的關鍵其實極其簡樸:定家庭暗號(只有自己家人懂的詞彙或繞口令),聽到求救錢就掛電話回撥本人號碼,以及銘記在心加拿大刑事司法根本不允許現金或加密貨幣保釋——凡是這樣要求的就是 100% 詐騙。加拿大從 2021 年起累計報案損失 2,300 萬加幣,但根據反詐中心評估,實際損失可能是這個數字的 10 倍乃至 20 倍,因為許多老人因羞恥感而不報案。

法律與技術的防護層面仍在摸索。Anthropic 在 2026 年 6 月發布了最強模型 Fable 5,內建安全分類器會將高風險問題自動降級至上一代模型。但美國政府隨即以國家安全為由發動出口管制,暫停全球訪問 19 天,直到業界達成統一的漏洞評分框架後才解禁。加拿大則在 2026 年 6 月通過了 C-16 法案,將 Deepfake 生成的私密影像入刑,同時推進 C-34 法案要求平台標記合成內容與即時下架,但針對語音詐騙的專法仍未出台。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI