KeyFrame內部研究專用

Loophole: Adversarial Agents To Stress Test Your Morality — Brendan Rappazzo, Morgan Stanley

AI Engineer英文
觀看原始影片

三句話摘要

一個用 AI 對抗代理框架測試個人或組織道德準則矛盾的開源遊戲與應用平臺。 Loophole 展示了 AI 如何將模糊的道德判斷轉化為精確、無矛盾的決策體系,並在民主治理中實現更透明、更貼近民意的立法過程。 道德準則編碼化的核心困境催生這個想法——人對每個特定情況有不同的道德判斷(如 DNA 隱私的使用場景),但逐案列舉在認知上無法實行,法律系統透過判例法來處理這問題,因此 AI 應能進行合成案例法生成來找出準則的細緻邊界。

重點整理

  1. 道德準則編碼化的核心困境催生這個想法——人對每個特定情況有不同的道德判斷(如 DNA 隱私的使用場景),但逐案列舉在認知上無法實行,法律系統透過判例法來處理這問題,因此 AI 應能進行合成案例法生成來找出準則的細緻邊界。

  2. 對抗代理循環確保系統的完整一致性——一個代理主動尋找漏洞(應禁卻合法的行為),另一個尋找越權(應允卻違法的行為),判斷代理決定是否能自動修補或需交由用戶人工判決,最終得到與道德準則完全對齐的法律體系。

  3. 橫跨多領域的實用應用展現框架價值——從聊天機器人的系統提示自動生成、個人隱私準則與企業服務條款的對照、到去中心化跨國智慧合約,相同框架適用於不同的信任與權力結構。

  4. 民主治理的透明化工具——透過模擬議員與選民的道德體系,系統能預測法案投票結果、優化語言來增加支持度,最終讓立法過程更透明且更貼近人民意願。

實用技巧與重點

  • 專案名稱:Loophole(開源於 GitHub)
  • 開發者身份:摩根士丹利機器學習研究者
  • 核心運作流程:自然語言輸入 → Claude 生成法律代碼 → 對抗代理循環測試(漏洞+越權+判斷代理)
  • 三大應用分支:
  • 聊天機器人系統提示自動生成(類似 RLHF 方法)
  • 個人隱私合約(與企業 ToS 對照、去中心化跨國合約)
  • 美國參議院投票模擬
  • 參議院實例:Medicare 法案經語言優化從 50:50 投票達成 52 票通過
  • 州級民調資料集:Nvidia USA personas(每州 500 個代表性角色)
  • 訪問方式:QR 碼連至參議院模擬器、個人網站連結完整 GitHub

結論

Loophole 展示了 AI 如何將模糊的道德判斷轉化為精確、無矛盾的決策體系,並在民主治理中實現更透明、更貼近民意的立法過程。

完整解析

這個項目的起點源自開發者對個人隱私的切身思考。在進行 23andMe DNA 檢測後,他開始反思在什麼情況下願意授權他人使用自己的 DNA 資料——比如破案或遺傳研究——但又不想被濫用。他很快意識到一個核心問題:人們對不同場景有細微的道德判斷,但逐案詢問在認知上完全不可行。這讓他想到了法律系統的運作邏輯:法律的本質就是將社會的道德信念編碼化,而判例法之所以被廣泛採用,正是因為尋找道德準則的精確邊界極其困難,需要透過案例來逐漸完善。

基於這個洞察,他利用現代大語言模型的推理能力,設計了一個遊戲系統。玩家用自然語言陳述自己的道德原則(可針對特定領域如隱私或更一般性的價值觀),然後 Claude 將其翻譯成精確的法律代碼,使用法律術語、前言、條款與細節。接著進入對抗循環:一個代理主動尋找「漏洞」(按照你的法律代碼應被禁止但實際允許的情況),另一個尋找「越權」(實際上合乎道德但被禁止的情況)。一個判斷代理評估這些發現,決定是自動修補(若只是原始翻譯不完美)或上報給用戶作為人工判決點。在他展示的 DNA 例子中,系統發現保險公司可以改用 DNA 衍生物而非 DNA 本身來訓練模型,這在法律上合規但道德上成問題。另一例則是遺傳研究人員發現受試者患有罕見可治療遺傳疾病,需要用戶決定是否應披露給患者。

項目發佈後獲得巨大迴響,激勵開發者探索三條實用分支。第一條是聊天機器人的系統提示自動生成,企業定義機器人應與不應討論的內容,系統自動編碼並用對抗代理測試其一致性。第二條涉及個人隱私合約,用戶定義對資料處理的道德準則,可與企業服務條款進行對照以發現衝突;更進階的應用是在去中心化環境中,雙方各自定義準則,經過對抗測試後產生互相同意的合約,明確分歧點再達成協議,提高置信度。

第三條分支針對政府層面。開發者讓 Claude 分析美國參議員的投票紀錄與公開發言,為每位參議員構建「道德體系」與對應的法律代碼。任何法案都可針對每位參議員進行模擬投票,系統甚至能進行「山爬」優化——在保留法案核心精神的前提下調整措辭,以最大化贊成票。以 Medicare 法案為例,原始版本預計 50:50 投票失敗,經優化後達到 52 票通過。更大膽的應用是利用 Nvidia 的美國角色數據集(每州 500 個代表性虛擬選民)為他們生成道德體系,然後任何法案都能對「整州選民」進行模擬,不僅測試一致度,還能進行優化以更好地代表選民意願。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI