Truly Terrifying: When AI Learns to Lie, Where Do We Go From Here? | Zhuang Ye’s Talk 249
三句話摘要
AI 語音克隆與深度偽造技術如何被用於精準詐騙，以及普通人該如何防範。 在 AI 時代，真實已成最稀缺的奢侈品，防禦詐騙需要政府嚴刑峻法、科技公司道德鎖定、社會層面的經濟托底，更需要每個家庭用暗號與智慧守護親人。 AI 幻覺的三層根源：大語言模型本質上猜測下一個詞而非查資料；訓練評分機制獎勵它瞎猜而非承認不知道；AI 缺乏可靠的「我不知道」開關，導致它自信地編造答案。
重點整理
重點- 1
AI 幻覺的三層根源：大語言模型本質上猜測下一個詞而非查資料；訓練評分機制獎勵它瞎猜而非承認不知道；AI 缺乏可靠的「我不知道」開關，導致它自信地編造答案。
- 2
Deepfake 已超越語音進化：從 2023 年美國律師被 ChatGPT 編造的假判例坑害，到 2024 年香港跨國公司被實時多人視訊會議中的 AI 數位人物詐騙 2500 萬美元，Deepfake 已能在多人場景中同步完美偽造多個真人。
- 3
個人資訊外洩的四大管道：數據泄露（如 2019 年加拿大 LifeLabs 事件波及 1500 萬人）、社交媒體無意洩露家庭關係、合法數據經紀商的買賣、以及詐騙者透過讓老人自己報名字的誘導法。
- 4
法律與技術防護的雙重缺口：Anthropic 新模型 Fable 5 發布三天遭美國禁令，但加拿大至今缺乏完整的 Deepfake 專法，僅在 2026 年 6 月通過 C-16 法案將合成私密影像入刑，C-34 法案才在草案階段對聊天機械人進行監管。
實用技巧與重點
乾貨- 真實詐騙案例：
- 安省案件（2026年6月）：父親 Neil 被克隆的兒子聲音騙走 6,000 加幣
- 玛丽莲案件（2021年）：銀行員工攔截 9,000 加幣詐騙
- 香港 Arup 公司案（2024年2月）：跨國工程公司被多人視訊會議詐騙 2,500 萬美元
- 法律與政策進展：
- C-16 法案（2026年6月18日生效）：將 Deepfake 生成的私密影像入刑
- C-34 安全社交媒體法（2026年6月10日提交）：要求平台對 AI 聊天機械人負責、標記合成內容
- Anthropic Fable 5（2026年6月發布）：安全分類器將高風險問題自動降級至上一代模型 Opus 4.8
- 美國商務部管制（2026年6月12日-7月1日）：暫停外籍人士訪問新模型共 19 天
- 防騙三鐵律：
- 跟家人定暗號（獨特詞彙或繞口令只有家人懂）
- 聽到求救要錢立即掛電話，翻通訊錄回撥本人
- 要求現金或加密貨幣 = 100% 詐騙（加拿大刑事司法不允許現金保釋）
- 數據損失統計：
- 加拿大 2021 年起累計報案損失：2,300 萬加幣
- 實際損失估計：真實數字的 5-20 倍（因舉報率僅 5-10%）
- LifeLabs 數據泄露（2019）：1,500 萬加拿大人受波及（當時全國人口 40%）
結論
結論“在 AI 時代，真實已成最稀缺的奢侈品，防禦詐騙需要政府嚴刑峻法、科技公司道德鎖定、社會層面的經濟托底，更需要每個家庭用暗號與智慧守護親人。”
完整解析
詳細AI 詐騙的威脅不在於技術本身有多神祕，而在於它如何將三個層面的缺陷結合成完美風暴。首先是 AI 幻覺的根本原理。大語言模型並不查詢資料庫，而是統計性地預測下一個最可能出現的詞。在此邏輯下，編造一句流暢的假話和說一句真話在底層運算上完全相同。評分機制則加劇了這個問題：當考試只有對錯二元分，答錯和不知道都是零分時，模型被優化成了「應試油條」，傾向於瞎猜而非承認不確定性。最關鍵的是，現有 AI 根本不知道自己不知道，導致它自信地胡編答案。美國律師施瓦茨 2023 年就因此被 ChatGPT 編造的假判例坑害，被法庭罰款 5,000 美元並強制向被冒名法官道歉。
但 AI 幻覺只是第一層威脅。真正恐怖的是 Deepfake 技術的進化。2024 年 2 月，香港跨國工程公司 Arup 發生有史以來最大規模的 Deepfake 詐騙案，詐騙團伙在一場多人視訊會議中同時完美偽造了英國 CFO 與多名同事，騙走員工 2,500 萬美元。這不是簡單的聲音克隆，而是實時生成的數位人物。加拿大也未能倖免。2026 年 6 月，安省老人 Neil 因為兒子聲音「一模一樣」的電話而被騙 6,000 加幣。詐騙者需要的聲音素材只要幾秒就夠了——從社交媒體的短視訊截取即可。
個人資訊外洩是精準詐騙的前置條件。數據泄露（如 2019 年 LifeLabs 事件波及 1,500 萬加人）、社交媒體的無意洩露（親戚互動公開家庭關係網）、以及合法的數據經紀商買賣（美國至今缺乏全面隱私法，數據掮客在法律空檔中運作）都是管道。詐騙者甚至不需要事先掌握資訊，只要在電話裡帶哭腔說「奶奶是我」，老人在慌張中會自動報出名字。
防禦的關鍵其實極其簡樸：定家庭暗號（只有自己家人懂的詞彙或繞口令），聽到求救錢就掛電話回撥本人號碼，以及銘記在心加拿大刑事司法根本不允許現金或加密貨幣保釋——凡是這樣要求的就是 100% 詐騙。加拿大從 2021 年起累計報案損失 2,300 萬加幣，但根據反詐中心評估，實際損失可能是這個數字的 10 倍乃至 20 倍，因為許多老人因羞恥感而不報案。
法律與技術的防護層面仍在摸索。Anthropic 在 2026 年 6 月發布了最強模型 Fable 5，內建安全分類器會將高風險問題自動降級至上一代模型。但美國政府隨即以國家安全為由發動出口管制，暫停全球訪問 19 天，直到業界達成統一的漏洞評分框架後才解禁。加拿大則在 2026 年 6 月通過了 C-16 法案，將 Deepfake 生成的私密影像入刑，同時推進 C-34 法案要求平台標記合成內容與即時下架，但針對語音詐騙的專法仍未出台。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
