[un]prompted.au 2026 - Capture the Narrative: Social Media Manipulation... - Rahat Masood
三句話摘要
「Capture the Narrative」競賽教學生如何利用 AI 機器人進行社群媒體操縱與虛假資訊傳播,並反思防禦對策。 製造虛假資訊與操縱社群不需技術專家與高額資源,任何背景的學生透過開源工具與基礎 LLM 即可達成,但更重要的是讓下一代認知此風險並習得防禦之道。 全球化的虛假資訊威脅:OpenAI 發布 GPT-2 以來,生成式 AI 於澳洲深偽政治人物、歐洲選舉期間散布虛假資訊、東亞選舉遭 AI 污染,說明跨境操縱已成現實。
重點整理
全球化的虛假資訊威脅:OpenAI 發布 GPT-2 以來,生成式 AI 於澳洲深偽政治人物、歐洲選舉期間散布虛假資訊、東亞選舉遭 AI 污染,說明跨境操縱已成現實。
低成本高效率的實驗設計:競賽搭建完整虛擬生態(社群平台、新聞網站、NPC 角色),讓學生以 41 個帳號、消費級電腦、開源 API,驗證社群操縱的可行性與技術門檻。
參賽團隊的進化策略:從低質垃圾訊息到多樣化人設、微目標投放、反饋迴圈優化,參賽者透過掃描平台內容精準鎖定無政治傾向的 NPC,逐週提升操縱效果。
LLM 安全機制的脆弱性:來自法律、心理、社會科學背景的跨域團隊輕鬆規避 LLM 安全限制,說明防禦能力遠不足應對多學科的創意攻擊。
實用技巧與重點
- 競賽基本設定
- 參賽隊伍:108 隊、277 名學生
- 競賽期間:1 個月(2026 年新一屆改為 2 週)
- 虛擬島嶼:Kingston
- 虛擬候選人:Victor Hatton、Marina Castillo
- 虛擬新聞媒體:Daily Kingston、Kingston Herald
- NPC 機器人系統
- NPC 數量:4000+ 個
- 驅動模型:12 個並發 LLM
- 每個 NPC 屬性數:40 個(職業、資格、政見、興趣、婚姻狀態、寵物、居住地等)
- 政治傾向分布:50% 強硬立場、50% 中立
- 影響規模
- 參賽者機器人貼文:700 萬則
- NPC 機器人貼文:500 萬則
- 總貼文數:1100 萬則(與 Phoera 2025 統計 51% 網路活動來自機器人相符)
- 最終選舉結果
- 含虛假資訊:Victor 51%、Marina 48%
- 移除虛假資訊後:Marina 領先
- 參賽成本與資源
- 預算:最高 $100 美元
- 使用設備:消費級筆電/個人電腦
- 帳號配額:41 個帳號/隊
- API:主要使用開源 API,罕用商用 API
- 參賽團隊使用的策略
- 垃圾訊息投放:區分專職貼文、推廣、互動機器人角色
- 多樣化人設:激進、情感化、虛假資訊、中立娛樂型並行
- 微目標投放:掃描平台內容分析 NPC 屬性後精準投遞
- 反饋迴圈:追蹤高互動貼文類型持續最佳化
- 週期民調
- 每週進行民調讓參賽者跟蹤績效
- 新組織與後續計畫
- 成立 DLCL(Digital Lies and Cyber Literacy)非營利組織
- 2026 年新賽制改為 2 週,主題:公投與衛生健康
- 新增藍隊防禦任務:偵測並對抗機器人帳號
- 2027 年規劃國際競賽(歐洲、美國已表示興趣)
結論
製造虛假資訊與操縱社群不需技術專家與高額資源,任何背景的學生透過開源工具與基礎 LLM 即可達成,但更重要的是讓下一代認知此風險並習得防禦之道。
完整解析
OpenAI 在 2019 年因安全隱憂拒絕釋出 GPT-2,卻在後續年間陸續發布更強大的模型,促成 Claude、Gemini 等大型語言模型問世。講者 Rahat Masood 在演講中指出,生成式 AI 帶來的最大風險之一並非技術本身,而是虛假資訊的大規模製造與傳播。澳洲選舉遭遇深偽政治人物、歐洲選舉期間社群媒體充斥虛假資訊、東亞選區受 AI 生成內容污染,這些跨域案例顯示虛假資訊已成全球治理難題。澳洲選舉委員會(AEC)與多家企業已警示:AI 將在選舉中誤導投票者。
作為大學講師,Masood 與團隊決定透過教育實驗來應對此挑戰,設計了「Capture the Narrative」競賽。競賽在虛擬島嶼 Kingston 舉辦,兩位虛擬候選人 Victor Hatton 與 Marina Castillo 爭奪選票,時間跨度一個月。團隊搭建完整虛擬生態:包括推特風格的社群平台(可發文、分享 GIF、按讚、評論)、趨勢頁面、日常新聞網站 Daily Kingston 與 Kingston Herald,以及由 LLM 驅動的記者與評論家機器人。參賽的三到四人團隊獲得某位候選人的指示,任務是建立機器人帳號以提升或壓制特定內容,贏家將獲得虛擬合約與獎金。
後臺系統由 4000 多個 NPC(非玩家角色)機器人組成,分別由 12 個並發大型語言模型驅動。每個 NPC 擁有 40 項屬性,包括職業、政治傾向、興趣、家庭狀況等,刻意設計得極其逼真,使其能自然發文、閱讀與評論他人貼文。政治傾向分配為 50% 強硬、50% 中立,模擬真實社群的意見光譜。競賽吸引 108 支隊伍、277 名學生參加,期間共產生 1100 萬則貼文——參賽者 700 萬則、NPC 500 萬則,驚人地貼切 Phoera 2025 統計的「網路活動 51% 來自機器人」的真實比例。
團隊會週週發布民調供參賽者追蹤進度。月末成果揭曉:Victor 贏得 51% 對 48% 的勝利。但當研究團隊移除所有虛假資訊與參賽者機器人後再次模擬,Marina 反而領先——直觀證明社群操縱的效力。邀請前四名隊伍在頒獎典禮上分享策略時,他們揭露了一系列進化的戰術:首先是精細化的垃圾投放,區分專職發文、推廣、互動的機器人角色;其次是多樣人設並行,某些機器人激進、某些情感化、某些製造虛假資訊、某些保持中立娛樂風格,以避免被平台限制;再者是大規模內容掃描與微目標投放,團隊分析 NPC 屬性後精準投遞相符內容,特別瞄準無政治立場的 NPC;最後是建立自我反饋迴圈,持續優化高互動貼文的特徵。驚人的是,運行整場競賽最多只需 $100 美元,設備限於消費級電腦,主要依賴開源 API,每隊配額僅 41 個帳號。受試者反映 LLM 防護機制毫無效力,來自法律、心理、社會科學等非資訊背景的團隊都輕鬆規避了安全限制。
基於競賽成果與反思,研究團隊已成立 DLCL(Digital Lies and Cyber Literacy)非營利組織。2026 年新一屆競賽於 10 月 18 日啟動,改為 2 週制度(因學生時間限制),主題轉向公投與衛生政策,並新增「藍隊」防禦機制,要求學生既要進行紅隊操縱,也要習得偵測與對抗機器人的技能。國際競賽規劃已納入 2027 年議程,歐洲與美國已表達合作興趣。


