KeyFrame內部研究專用

Does REA Actually Help? Two Experiments, 18 AI Copies

李宏毅中文
觀看原始影片

三句話摘要

AI助理Xiaojin實驗測試GitHub爆紅的反向工程工具REA,比較它與其他方法在程式分析上的效能與實際價值。 REA的核心價值不在速度或準確性,而在於提供可追蹤的證據ID,使技術分析結論能被他人驗證和審計——這對商業合規和學術研究至關重要,但對能力強的現代AI來說不是必需的。 REA的架構與運作:REA並非自動分析程式,而是作為適配器將207個分析函式打包供AI代理呼叫,透過MCP標準介面連接,並將結論分類為已觀察、已推論、仍未知三類,每項發現配有證據ID讓結果可被追蹤。

重點整理

  1. REA的架構與運作:REA並非自動分析程式,而是作為適配器將207個分析函式打包供AI代理呼叫,透過MCP標準介面連接,並將結論分類為已觀察、已推論、仍未知三類,每項發現配有證據ID讓結果可被追蹤。

  2. 實驗設計的嚴謹性:作者製作兩個測試程式(分別16行及規模更大者),各含隱藏規則,將源代碼密封並記錄指紋,只將編譯後的二進制檔案提供給三組AI,要求完全復原功能且發現隱藏規則,測試結果以字元精確度驗證。

  3. 意外的效能結論:第一測試無工具組11.5分鐘、Ghidra組13分鐘、REA組14.6分鐘;第二測試無工具組和Ghidra組約14分鐘、REA組20分鐘;關鍵是無工具AI在3分鐘內自行編寫350-470行Python反組譯機,推翻了AI需要專門工具的假設。

  4. REA的真正差異在可驗證性:REA提供37個引用都能通過證據ID在日誌中追蹤原始輸出,而其他組雖然同樣成功但無法提供可驗證的審計路徑,這對商業審計和學術研究極為重要。

實用技巧與重點

  • REA在2026年10月15日已獲得245,000+ GitHub星
  • REA包含207個函式、支援網站、手機應用、程式檔案分析
  • 使用Ghidra首次查詢耗時1分49秒(每次啟動),保持開啟後首次1分18秒、後續<1秒
  • 測試程式1:16行源代碼、編譯後剝除符號
  • 測試程式2:決策部分近3倍於測試1(>400字節)
  • 實驗配置:18個AI副本分三組各6個、設計嚴格評分標準
  • 完成時間中位數:
  • 測試1:無工具11.5分、Ghidra 13分、REA 14.6分
  • 測試2:無工具14分、Ghidra 14分、REA 20分
  • 無工具AI自行編寫反組譯機:3分鐘內、350-470行Python代碼
  • REA實際等待時間:1-3分鐘/次(總耗時的小部分)
  • REA輸出文字量:比無工具組多2.5-4倍、比Ghidra組多
  • REA可驗證引用:37個引用、100%可在日誌中追蹤
  • 測試成果:18個AI副本全部達成完美分數

結論

REA的核心價值不在速度或準確性,而在於提供可追蹤的證據ID,使技術分析結論能被他人驗證和審計——這對商業合規和學術研究至關重要,但對能力強的現代AI來說不是必需的。

完整解析

反向工程的原理如同從烤好的蛋糕反推食譜。開發者撰寫的源代碼像食譜,編譯過程將其轉化為電腦執行的機器碼(長串數字),最終的程式檔案就像烤好的蛋糕——可以看到結果卻看不到製作方法。REA(Reverse Engineer Anything)在2026年10月突然在GitHub爆紅,獲得超過24.5萬顆星,它不是自己分解程式,而是作為適配器,將分析網站、手機應用和程式檔案的方法打包成207個函式,讓AI代理可以直接呼叫。對於程式檔案,REA借助Ghidra等專業反組譯軟體進行分析,透過MCP標準介面與AI連接,確保結論分類清晰且附帶可追蹤的證據ID。

為了理解REA的真正價值,Xiaojin進行了嚴謹的對比實驗。她製作了兩個測試程式:第一個只有16行,含隱藏的乘以31模100運算;第二個規模更大,模擬龍蝦一年的生活週期與隨機決策。源代碼被密封保存指紋,參與實驗的AI副本僅獲得編譯後的二進制檔案,分為三組各6個副本:無任何工具、只用Ghidra、使用REA。評分標準極其嚴格,復原的程式必須與原始程式逐字元相同,且必須發現所有隱藏規則。

測試結果令人驚訝。第一測試中三組AI均達完美分數,時間排序為:無工具11.5分鐘、Ghidra 13分鐘、REA 14.6分鐘。更震撼的是第二測試,沒有任何工具的AI組在3分鐘內自行編寫了350-470行的Python反組譯機,然後用它完成任務,耗時約14分鐘。REA組同樣完美但耗時20分鐘。進一步分析顯示,REA組實際等待REA執行的時間只有1-3分鐘,其他時間主要用於閱讀REA詳細的長文字輸出——REA的指令檔案和分析結果文本量是無工具組的2.5-4倍。

儘管測試中REA不是最快者,但它帶來了獨特且可能更重要的價值——可驗證性。REA組報告中的37個引用都能透過證據ID在日誌中追蹤到對應的原始輸出,而其他組雖然同樣成功卻無法提供這樣的審計路徑。Xiaojin強調,這些只是她親自編寫的小型程式,真實應用規模遠更龐大且形式多樣,結論可能不同,但關鍵發現是:強大的現代AI代理不需要REA也能完美完成反向工程任務,REA的真正價值在於提供他人能驗證和追蹤的證據。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。