KeyFrame內部研究專用

[un]prompted.au 2026 - Capture the Narrative: Social Media Manipulation... - Rahat Masood

Unprompted au16 min英文
觀看原始影片

三句話摘要

「Capture the Narrative」競賽教學生如何利用 AI 機器人進行社群媒體操縱與虛假資訊傳播,並反思防禦對策。 製造虛假資訊與操縱社群不需技術專家與高額資源,任何背景的學生透過開源工具與基礎 LLM 即可達成,但更重要的是讓下一代認知此風險並習得防禦之道。 全球化的虛假資訊威脅:OpenAI 發布 GPT-2 以來,生成式 AI 於澳洲深偽政治人物、歐洲選舉期間散布虛假資訊、東亞選舉遭 AI 污染,說明跨境操縱已成現實。

重點整理

  1. 全球化的虛假資訊威脅:OpenAI 發布 GPT-2 以來,生成式 AI 於澳洲深偽政治人物、歐洲選舉期間散布虛假資訊、東亞選舉遭 AI 污染,說明跨境操縱已成現實。

  2. 低成本高效率的實驗設計:競賽搭建完整虛擬生態(社群平台、新聞網站、NPC 角色),讓學生以 41 個帳號、消費級電腦、開源 API,驗證社群操縱的可行性與技術門檻。

  3. 參賽團隊的進化策略:從低質垃圾訊息到多樣化人設、微目標投放、反饋迴圈優化,參賽者透過掃描平台內容精準鎖定無政治傾向的 NPC,逐週提升操縱效果。

  4. LLM 安全機制的脆弱性:來自法律、心理、社會科學背景的跨域團隊輕鬆規避 LLM 安全限制,說明防禦能力遠不足應對多學科的創意攻擊。

實用技巧與重點

  • 競賽基本設定
  • 參賽隊伍:108 隊、277 名學生
  • 競賽期間:1 個月(2026 年新一屆改為 2 週)
  • 虛擬島嶼:Kingston
  • 虛擬候選人:Victor Hatton、Marina Castillo
  • 虛擬新聞媒體:Daily Kingston、Kingston Herald
  • NPC 機器人系統
  • NPC 數量:4000+ 個
  • 驅動模型:12 個並發 LLM
  • 每個 NPC 屬性數:40 個(職業、資格、政見、興趣、婚姻狀態、寵物、居住地等)
  • 政治傾向分布:50% 強硬立場、50% 中立
  • 影響規模
  • 參賽者機器人貼文:700 萬則
  • NPC 機器人貼文:500 萬則
  • 總貼文數:1100 萬則(與 Phoera 2025 統計 51% 網路活動來自機器人相符)
  • 最終選舉結果
  • 含虛假資訊:Victor 51%、Marina 48%
  • 移除虛假資訊後:Marina 領先
  • 參賽成本與資源
  • 預算:最高 $100 美元
  • 使用設備:消費級筆電/個人電腦
  • 帳號配額:41 個帳號/隊
  • API:主要使用開源 API,罕用商用 API
  • 參賽團隊使用的策略
  • 垃圾訊息投放:區分專職貼文、推廣、互動機器人角色
  • 多樣化人設:激進、情感化、虛假資訊、中立娛樂型並行
  • 微目標投放:掃描平台內容分析 NPC 屬性後精準投遞
  • 反饋迴圈:追蹤高互動貼文類型持續最佳化
  • 週期民調
  • 每週進行民調讓參賽者跟蹤績效
  • 新組織與後續計畫
  • 成立 DLCL(Digital Lies and Cyber Literacy)非營利組織
  • 2026 年新賽制改為 2 週,主題:公投與衛生健康
  • 新增藍隊防禦任務:偵測並對抗機器人帳號
  • 2027 年規劃國際競賽(歐洲、美國已表示興趣)

結論

製造虛假資訊與操縱社群不需技術專家與高額資源,任何背景的學生透過開源工具與基礎 LLM 即可達成,但更重要的是讓下一代認知此風險並習得防禦之道。

完整解析

OpenAI 在 2019 年因安全隱憂拒絕釋出 GPT-2,卻在後續年間陸續發布更強大的模型,促成 Claude、Gemini 等大型語言模型問世。講者 Rahat Masood 在演講中指出,生成式 AI 帶來的最大風險之一並非技術本身,而是虛假資訊的大規模製造與傳播。澳洲選舉遭遇深偽政治人物、歐洲選舉期間社群媒體充斥虛假資訊、東亞選區受 AI 生成內容污染,這些跨域案例顯示虛假資訊已成全球治理難題。澳洲選舉委員會(AEC)與多家企業已警示:AI 將在選舉中誤導投票者。

作為大學講師,Masood 與團隊決定透過教育實驗來應對此挑戰,設計了「Capture the Narrative」競賽。競賽在虛擬島嶼 Kingston 舉辦,兩位虛擬候選人 Victor Hatton 與 Marina Castillo 爭奪選票,時間跨度一個月。團隊搭建完整虛擬生態:包括推特風格的社群平台(可發文、分享 GIF、按讚、評論)、趨勢頁面、日常新聞網站 Daily Kingston 與 Kingston Herald,以及由 LLM 驅動的記者與評論家機器人。參賽的三到四人團隊獲得某位候選人的指示,任務是建立機器人帳號以提升或壓制特定內容,贏家將獲得虛擬合約與獎金。

後臺系統由 4000 多個 NPC(非玩家角色)機器人組成,分別由 12 個並發大型語言模型驅動。每個 NPC 擁有 40 項屬性,包括職業、政治傾向、興趣、家庭狀況等,刻意設計得極其逼真,使其能自然發文、閱讀與評論他人貼文。政治傾向分配為 50% 強硬、50% 中立,模擬真實社群的意見光譜。競賽吸引 108 支隊伍、277 名學生參加,期間共產生 1100 萬則貼文——參賽者 700 萬則、NPC 500 萬則,驚人地貼切 Phoera 2025 統計的「網路活動 51% 來自機器人」的真實比例。

團隊會週週發布民調供參賽者追蹤進度。月末成果揭曉:Victor 贏得 51% 對 48% 的勝利。但當研究團隊移除所有虛假資訊與參賽者機器人後再次模擬,Marina 反而領先——直觀證明社群操縱的效力。邀請前四名隊伍在頒獎典禮上分享策略時,他們揭露了一系列進化的戰術:首先是精細化的垃圾投放,區分專職發文、推廣、互動的機器人角色;其次是多樣人設並行,某些機器人激進、某些情感化、某些製造虛假資訊、某些保持中立娛樂風格,以避免被平台限制;再者是大規模內容掃描與微目標投放,團隊分析 NPC 屬性後精準投遞相符內容,特別瞄準無政治立場的 NPC;最後是建立自我反饋迴圈,持續優化高互動貼文的特徵。驚人的是,運行整場競賽最多只需 $100 美元,設備限於消費級電腦,主要依賴開源 API,每隊配額僅 41 個帳號。受試者反映 LLM 防護機制毫無效力,來自法律、心理、社會科學等非資訊背景的團隊都輕鬆規避了安全限制。

基於競賽成果與反思,研究團隊已成立 DLCL(Digital Lies and Cyber Literacy)非營利組織。2026 年新一屆競賽於 10 月 18 日啟動,改為 2 週制度(因學生時間限制),主題轉向公投與衛生政策,並新增「藍隊」防禦機制,要求學生既要進行紅隊操縱,也要習得偵測與對抗機器人的技能。國際競賽規劃已納入 2027 年議程,歐洲與美國已表達合作興趣。

32 min
AI 安全英文10月20日

[un]prompted.au 2026 - Human in the Loop, Ghost in the Shell... - Ash Fox

Unprompted au看原片 ↗
  • 攻擊者採用 AI 的三個維度:精密度增加(複雜技能從昂貴資源變為按需模型)、規模擴張(不再受人力限制)、速度加快(代理快速導航與決策)。但不同攻擊者類型有差異——需要隱蔽性的特務活動不太可能部署代理,而大規模無差別的勒索軟體運營者更可能採用
  • 紅隊代理需兼顧有效性與可信性:不僅要能找到漏洞和執行攻擊,更要表現得像真實攻擊者(適當隱蔽性、專業作業規範),避免洩露憑證、破壞系統、超出測試範圍等不當行為。
31 min
AI 技術英文10月20日

[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh

Unprompted au看原片 ↗
  • 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
  • 系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
18 min
Web2 安全英文10月20日

[un]prompted.au 2026 - How Agentic SAST Decodes Business Context to Hunt Privilege Esc. - Sylvia Xu

Unprompted au看原片 ↗
  • 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。
  • LLM能語義化理解代碼含義,區分身份驗證邏輯與其他檢查;但存在不確定性、上下文溢出與幻覺問題。解決方案是用決定性Python代碼來驗證LLM輸出、控制上下文流、蒐集人工反饋。