The Miranda Hypothesis: How Hamilton Poisoned Persona Evals - Jacob E. Thomas, Results Gen

這場演講從一個簡單但深刻的測量問題開始：現有的角色扮演語言代理評估工具到底在測什麼？演講者首先展示了角色扮演 AI 系統的現實應用——從 Character AI 到 Hello History，再到自己開發的開源提示框架——然後指出一個根本性問題：In-Character 基準等評估工具報告 Hamilton 達到 80.7% 的人格保真度高分，但同樣高分的系統生成的 Hamilton 卻音樂劇化了，聽起來像《Hamilton》音樂劇而不是歷史上的亞歷山大·漢密爾頓。

問題的根源在於評估工具與模型架構本身的設計決定。評估只測量流暢度與個性一致性，而無法偵測核心缺陷：時代錯誤合成體——系統用後世知識與現代道德框架為歷史人物代言。演講者稱之為「米蘭達假說」，源於《Hamilton》音樂劇對公眾記憶的壓倒性影響。關鍵觀察是，訓練資料中文化主導的表現（音樂劇評論、歌詞、社群媒體、衍生學術）遠遠超過原始文獻的數量與時近性。自迴歸語言模型將兩者壓縮為參數，無法區分 18 世紀信件與當代網路文本，因此預設輸出最顯著的混合體——一個流暢、合理、符合現代觀眾期待但對應不了歷史任何時刻的人物。

演講者展示了一個具體的失敗案例：被提示詢問「奴隸制立場」時，模型輸出了一個明確的廢奴主義者，聲稱反對奴隸制一生一貫，但歷史紀錄顯示 Hamilton 更複雜——他曾替妻子與客戶進行涉及被奴役者的交易，依賴奴隸主的政治聯盟而未公開反對。音樂劇美化了這段記錄，模型習得了這種美化。評估工具無法偵測，因為它無法看見檔案。

演講者提出的解決方案重新架構了整個問題。不是將角色視為「代理」（persona 被認為是模型權重的屬性），而是視為事件——一個模型、文獻、時間錨點與人類策展者相遇時發生的事。提議的「認識論模擬」第四範式涉及三項核心承諾：語料庫限制（推理僅限特定一手文獻）、時間錨點（角色在生命中的特定時刻說話，未來知識禁止使用）與專家評價（推理由領域專家對標檔案記錄評審）。這完全改變了架構選擇的意義。

演講現場對比了兩種主要實現方式：上下文窗口架構（在推論時從一手文獻中讀取，遵循檢索增強生成的系譜）與微調（調整權重以融入人物語料）。直觀上微調看起來更精準，但演講者引用了臨床 AI 的鄰近領域研究（2026 年《Nature Medicine》）證明這個直覺是錯的——通用邊界模型實際上優於專用微調模型，因為微調導致「災難性遺忘」，在寬泛能力衰退的同時加重了領域內的複合問題。對於人物系統來說更糟，因為專業化是在文化沉澱上層疊一層薄薄的人物訊號，兩者交互作用變成不可審查。

對比下，上下文窗口架構保持文獻為文獻——完整進出，可隨時返回檔案驗證。這有深刻的倫理與工程含義。法國哲學家德里達曾說檔案是「返回的場所」，倫理結構即詮釋的可審查性。上下文窗口架構是檔案式的。微調應用的是提取邏輯，文獻溶解進參數，鏈條斷裂，不再有可要求的「信件」。檔案式的性質既是倫理的，也是可調試的——同一套建築美德既服務人文學者，也服務工程師。

這也決定了誰能建造這種技術。微調需要 GPU、管道、資料簽約、機構規模或 API——機構的特權。上下文窗口需要讀識素養、文獻集合、任何邊界模型的免費層級存取——廚房餐桌能做到的。博士生、社群檔案員、坐著祖母信函的孫女——正是這些人最有益於人文基礎設施的承諾，卻被微調架構結構性地排除。所以可及性承諾不是附加的平民主義修辭，而是技術論證本身：承認最多樣化策展者的架構從數學上最可能隨著時間浮出該領域實際需要的檔案錨定。

評估方法由一個簡單但強大的概念模型組織：稜鏡。白光——未分化的合成人物，每個時代混在一起——通過稜鏡折射為光譜，顏色拉開並變清晰。稜鏡是方法——特定語料庫與時間錨點——光譜是目標：不是一個人物，而是多個跨越生活進程。

實驗選擇 Abraham Lincoln 作為主題，因為他在短短七年內變化如此劇烈，以至於選擇召喚哪一個 Lincoln 本身成為研究變數。演講者認可四個不同的時刻：1847 年的反戰 Whig 議員、1858 年否認黑人公民身份的自由土壤共和黨人、1860 年的憲法主義者、1862-1865 年的解放者。這些不是同一人的月相，而是不同前提、不同權威、對同一基本問題的不同結論。

實驗在三個條件下實例化每一時刻：裸模型（無錨定，控制組米蘭達失真基線）、一手文獻（清晰稜鏡）、現代傳記（陰暗稜鏡——好傳記往往敘述比原文更乾淨的弧線）。五項診斷問題測試記錄的故障線——行政戰爭權力、自由勞動、違反實定法的正當性、自由人的未來、平等的定義變化。每個題目對應 Lincoln 四個版本中的不同推理。評分指標故意加重時代錯誤偵測（40%），次之文獻一致性（35%），輕視脈絡合理性（25%）。演講者刻意排除流暢度與聲音自然性，雖然這是評估堆棧往往獎勵的。原因就是整場演講：Hamilton 問題根本上是一個聲音問題，假扮為內容問題。

演講者現場展示了 1847 年 Lincoln 論行政戰爭權力的對比。裸模型輸出了 Spielberg/Daniel Day-Lewis 的角色——「固有行政權威」（20 世紀建構）、「歷史支持果斷行動」——1847 Lincoln 在 15 年後仍然拒絕同意的前提。然後是一手文獻：Lincoln 的原始信函（1848 年 2 月 15 日至 William Herdon），明確而共鳴地反對國王式總統權力。在歷史學家評分指標下，裸模型在所有三軸失敗，一手文獻版本全部高分。這種失敗是可再現的、可偵測的。

預先註冊是整個方法的核心。四個時刻、三個條件、五個問題、加權指標、方向性預測全部鎖定且時間戳記，在收集單一回應前發佈。這既不是官僚程序，也是使最終結果有意義的原因——預先註冊的工具無法被指控櫻桃選擇，因為工具與預測在資料存在前被固定了。這是評估應當教學與示範的紀律。

最後一個層面是專家迴圈的操作實踐。工程師經常認為這意味著一個歷史學家在每次推論時監督聊天，但實際上完全不同。專家建造工具——診斷問題、先驗代表案例（密封保有）、加權指標——一次。一旦該工具成為管道中的閘門（就像任何其他評估閘門），人物必須通過它才能發佈，並在每次基礎模型變化時重新通過。自動化指標可做便宜的初關篩選，標記候選供人工審查。所以一家公司發佈 Marcus Aurelius 導師時召集古典學者建造評估與金集，一家發佈經文伴侶時召集神學家，照護伴侶時召集臨床心理學家。專家不員工聊天，專家是構建時與閘門時要求，不是執行時成本。

演講者以一個更個人的時刻結束——這個框架源自嘗試用語言模型幫助失智症晚期患者說話，歸還疾病奪走的語言。它無法工作。需要的檔案記錄未曾蒐集，患者當時超越語言可及。該系統沒有錨定時產生的不是那個人，而是被文化形塑的合成體，足以清楚標示距離。那是米蘭達失真的最純形式。你不想要一個做你母親的模型；你想要一個能用你母親文獻在房間裡與你母親說話的模型。那是這整個框架負責的閾值。一個在人物是你自己心愛的人時產生令人信服的虛偽的系統不是有局限的研究工件，而是違反。