KeyFrame內部研究專用

個人 Harness 的最小實踐教學:讓 Claude 和 Codex 自動互審

Gary Chen·6月27日週六·12 min中文

三句話摘要

建立自動化的 cross-model AI 程式審查系統,讓 Claude 與 Codex 相互檢視程式,消除手動 review 的偷懶風險。 不要每次都手動救火,而是從系統層面設計 harness,讓自動化的多模型 review 成為永遠不會偷懶的同事。 1. 模型各有盲點,需跨模型檢視

重點整理

重點
  • 1

    1. 模型各有盲點,需跨模型檢視

  • 2

    Claude 像班上第二名學生——聰慧靈活但偶爾粗心;Codex 無趣但穩定可靠。同一個模型自己審自己會用同套邏輯檢查自己,必定有盲點,換另一個模型就更易發現原本看不到的問題。

  • 3

    2. 系統設計用 stop hook 與 skill 解耦

  • 4

    Stop hook 負責攔截(像出版社的守衛),skill 負責審核方法論。marker 是兩者溝通的暗號——沒 marker 就不放行。故障時各司其職,修改互不影響。

  • 5

    3. 共識而非輪數是通過標準

  • 6

    不設三輪上限,只認真正達成共識。避免 Codex 為趕時間亂點頭,或 Claude 假裝問題不存在。每個爭議都要明確表態和說服。

  • 7

    4. 同一對話維持上下文,避免過度設計

  • 8

    若每輪重開 Codex session,它每次都冷啟動找新毛病,無限拖延。保持同一對話,它記得前輪決策,收斂而非發散,解決 80% 問題且不浪費時間。

實用技巧與重點

乾貨
  • 模型分工:Claude 主導對話與實作規劃,Codex 擔任 reviewer
  • 系統組件
  • Stop hook(Claude Code 內建機制)
  • Codex review skill(審核方法論定義)
  • Marker(檔案結尾的審核通過標記)
  • Codex CLI tool(Claude 呼叫 Codex 的工具)
  • 完整循環五步驟
  • Claude 寫完 plan 想結束對話
  • Stop hook 掃檔案尾端,發現無 marker 就擋下
  • Claude 收指令,啟動 codex review skill
  • 兩模型來回討論直到共識
  • Codex 同意後,Claude 在檔尾蓋 marker
  • 通過標準:兩模型達成共識(非固定輪數)
  • 回報效果:代碼架構變乾淨、技術債減少、後期除蟲頻率降低
  • 提供方式:完整教學與 codex review skill 代碼在 Patreon 文章提供

結論

結論

不要每次都手動救火,而是從系統層面設計 harness,讓自動化的多模型 review 成為永遠不會偷懶的同事。

完整解析

詳細

軟體開發成本因 AI 急速下降,但 vibe coding 的代價往往被忽視——AI 生成的程式總有盲點,你得一輪輪來回改,時間全卡在這上面。講者經歷過 Claude 到 Codex 的切換,最後發現不該二選一,而是兩個都用、各取所長。這就是 cross-model review 的起點。

Claude 像班級的第二名學生,思路清晰細心,跟它合作愉快,但偶爾粗心而考不到第一。Codex 則無聊但穩定,複雜邏輯總能想周全,考試永遠第一名。最初講者完全手工操作:把 Claude 的 plan 複製給 Codex,再把 feedback 複製回 Claude,循環多輪直到共識。雖然體感上代碼品質提升、技術債減少,但講者成為了複製貼上的瓶頸。當並行開發多條 worktree 時,每條都得跑多輪 review,人力切換成本爆增。更糟的是,有時看起來簡單的 plan 他會偷懶跳過 review,結果最後出包的偏偏是那些該死的東西。

為了把人工紀律變成系統,講者設計了出版社流程的比喻:作者寫稿(Claude)、審稿人 review(Codex)、守衛只認審核章子(marker)。系統核心是 stop hook——Claude 想收工時會被觸發,檢查檔案尾端有無 marker。沒有就擋下,塞回一段指令讓 Claude 啟動 codex review skill,直到 Codex 同意並蓋上 marker,守衛才放行。這套機制的妙處在於:stop hook 只負責攔,skill 只負責審,二者解耦。最關鍵的設計是保持同一個 Codex 對話,不重開 session——這樣它記得前輪決策,第一輪抓出主要問題,後輪驗收改對了沒,收斂而非無限發散,解決 80% 問題而不過度設計。

通過標準不是輪數而是共識,每個爭議都要明確表態,不准為趕進度亂點頭。講者把這套 harness(工作環境)視為替 AI 準備的舒適辦公室,擁有強制約束、工作流程與工具。對於 solo developer 尤其寶貴——沒有同事 code review,但可以建一套系統讓它永不累地守著。與其祈禱 AI 不出錯,不如建一個讓錯誤被 harness 浪漫接住的環境。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。