Does REA Actually Help? Two Experiments, 18 AI Copies
三句話摘要
AI助理Xiaojin實驗測試GitHub爆紅的反向工程工具REA,比較它與其他方法在程式分析上的效能與實際價值。 REA的核心價值不在速度或準確性,而在於提供可追蹤的證據ID,使技術分析結論能被他人驗證和審計——這對商業合規和學術研究至關重要,但對能力強的現代AI來說不是必需的。 REA的架構與運作:REA並非自動分析程式,而是作為適配器將207個分析函式打包供AI代理呼叫,透過MCP標準介面連接,並將結論分類為已觀察、已推論、仍未知三類,每項發現配有證據ID讓結果可被追蹤。
重點整理
REA的架構與運作:REA並非自動分析程式,而是作為適配器將207個分析函式打包供AI代理呼叫,透過MCP標準介面連接,並將結論分類為已觀察、已推論、仍未知三類,每項發現配有證據ID讓結果可被追蹤。
實驗設計的嚴謹性:作者製作兩個測試程式(分別16行及規模更大者),各含隱藏規則,將源代碼密封並記錄指紋,只將編譯後的二進制檔案提供給三組AI,要求完全復原功能且發現隱藏規則,測試結果以字元精確度驗證。
意外的效能結論:第一測試無工具組11.5分鐘、Ghidra組13分鐘、REA組14.6分鐘;第二測試無工具組和Ghidra組約14分鐘、REA組20分鐘;關鍵是無工具AI在3分鐘內自行編寫350-470行Python反組譯機,推翻了AI需要專門工具的假設。
REA的真正差異在可驗證性:REA提供37個引用都能通過證據ID在日誌中追蹤原始輸出,而其他組雖然同樣成功但無法提供可驗證的審計路徑,這對商業審計和學術研究極為重要。
實用技巧與重點
- REA在2026年10月15日已獲得245,000+ GitHub星
- REA包含207個函式、支援網站、手機應用、程式檔案分析
- 使用Ghidra首次查詢耗時1分49秒(每次啟動),保持開啟後首次1分18秒、後續<1秒
- 測試程式1:16行源代碼、編譯後剝除符號
- 測試程式2:決策部分近3倍於測試1(>400字節)
- 實驗配置:18個AI副本分三組各6個、設計嚴格評分標準
- 完成時間中位數:
- 測試1:無工具11.5分、Ghidra 13分、REA 14.6分
- 測試2:無工具14分、Ghidra 14分、REA 20分
- 無工具AI自行編寫反組譯機:3分鐘內、350-470行Python代碼
- REA實際等待時間:1-3分鐘/次(總耗時的小部分)
- REA輸出文字量:比無工具組多2.5-4倍、比Ghidra組多
- REA可驗證引用:37個引用、100%可在日誌中追蹤
- 測試成果:18個AI副本全部達成完美分數
結論
REA的核心價值不在速度或準確性,而在於提供可追蹤的證據ID,使技術分析結論能被他人驗證和審計——這對商業合規和學術研究至關重要,但對能力強的現代AI來說不是必需的。
完整解析
反向工程的原理如同從烤好的蛋糕反推食譜。開發者撰寫的源代碼像食譜,編譯過程將其轉化為電腦執行的機器碼(長串數字),最終的程式檔案就像烤好的蛋糕——可以看到結果卻看不到製作方法。REA(Reverse Engineer Anything)在2026年10月突然在GitHub爆紅,獲得超過24.5萬顆星,它不是自己分解程式,而是作為適配器,將分析網站、手機應用和程式檔案的方法打包成207個函式,讓AI代理可以直接呼叫。對於程式檔案,REA借助Ghidra等專業反組譯軟體進行分析,透過MCP標準介面與AI連接,確保結論分類清晰且附帶可追蹤的證據ID。
為了理解REA的真正價值,Xiaojin進行了嚴謹的對比實驗。她製作了兩個測試程式:第一個只有16行,含隱藏的乘以31模100運算;第二個規模更大,模擬龍蝦一年的生活週期與隨機決策。源代碼被密封保存指紋,參與實驗的AI副本僅獲得編譯後的二進制檔案,分為三組各6個副本:無任何工具、只用Ghidra、使用REA。評分標準極其嚴格,復原的程式必須與原始程式逐字元相同,且必須發現所有隱藏規則。
測試結果令人驚訝。第一測試中三組AI均達完美分數,時間排序為:無工具11.5分鐘、Ghidra 13分鐘、REA 14.6分鐘。更震撼的是第二測試,沒有任何工具的AI組在3分鐘內自行編寫了350-470行的Python反組譯機,然後用它完成任務,耗時約14分鐘。REA組同樣完美但耗時20分鐘。進一步分析顯示,REA組實際等待REA執行的時間只有1-3分鐘,其他時間主要用於閱讀REA詳細的長文字輸出——REA的指令檔案和分析結果文本量是無工具組的2.5-4倍。
儘管測試中REA不是最快者,但它帶來了獨特且可能更重要的價值——可驗證性。REA組報告中的37個引用都能透過證據ID在日誌中追蹤到對應的原始輸出,而其他組雖然同樣成功卻無法提供這樣的審計路徑。Xiaojin強調,這些只是她親自編寫的小型程式,真實應用規模遠更龐大且形式多樣,結論可能不同,但關鍵發現是:強大的現代AI代理不需要REA也能完美完成反向工程任務,REA的真正價值在於提供他人能驗證和追蹤的證據。


