Your coding agent doesn't always follow your rules — Talha Sheikh, Checkout.com
三句話摘要
AI agent 的真正價值在於驗證層設計，而非模型能力——如何通過確定性檢查確保任務完成品質。 工作重點應從打造完美的代碼轉向打造完善的驗證層，驗證系統才是 AI 時代軟體品質的真正保證。 指令無法替代驗證：即使給予充分的 spec、MCP server、sub agent 和上下文，仍需確定性驗證。能力增加不等於可靠性增加，新模型推出時改善的是能力而非信任度。
重點整理
重點- 1
指令無法替代驗證：即使給予充分的 spec、MCP server、sub agent 和上下文，仍需確定性驗證。能力增加不等於可靠性增加，新模型推出時改善的是能力而非信任度。
- 2
驗證層設計的通用性：講者發現每家公司都在各自開發驗證系統（Anthropic、Meta、OpenAI 等），因此驗證應該是語言無關、可共享的模式，適用於各個階段（對話結束時、提交前、multi-agent 工作流、非同步操作）。
- 3
成本優化關鍵：強大的驗證層使得可以使用較小的模型（如 Haiku 或開源模型），無需昂貴的 Opus 等前沿模型，通過減少驗證層消耗的時間也能大幅降低成本。
- 4
價值轉移：AI 領域的核心價值正在從「能否編寫代碼」轉移到「能否驗證代碼」，整個行業應聚焦於完善驗證系統而非依賴模型智能。
實用技巧與重點
乾貨- 工具與產品名稱：Vector V1、Vector harness、Claude hooks
- 相關模式：Executive Advisor Pattern（Anthropic）、Harness Engineering（OpenAI）、Code Review（Kudo）
- 驗證運行時機：對話結束時、提交前、multi-agent workflow 中、非同步 agent 操作、LLM 作為評判者
- 具體案例：測試輸出顯示首次失敗、重試、最終全部通過的迭代過程
- 成本結構示意：Opus（最昂貴）> Vector + 少量 guardrails（較便宜）> Vector + 多層 guardrails（大幅降低）
- LinkedIn 聯繫：講者提供，可透過訊息分享 Vector harness
結論
結論“工作重點應從打造完美的代碼轉向打造完善的驗證層，驗證系統才是 AI 時代軟體品質的真正保證。”
完整解析
詳細講者從一個切身的挫折開始說起：他想用 Claude Code 自動化工作，但每次 agent 宣稱任務完成時，實際上總有些小細節遺漏，導致他不得不反覆對 Claude 說「修這裡、修那裡」。他意識到問題的根源：他本人成為了「強制執行層」，每次都要驗證 agent 的輸出是否符合預期。這讓他產生一個想法——能否建立一個自動化、確定性的驗證系統？
於是他開發了 Vector V1，這是一個透過 Claude hooks 運作的驗證工具。當 Claude 完成一個 session 時，hooks 自動呼叫 Vector 來檢查任務是否真的完成。開發者在配置檔中定義所有需要驗證的項目，如果檢查失敗，系統會自動告訴 Claude「這裡失敗了，請再試一次」，直到所有測試通過。
不過講者後來遇到了瓶頸——Anthropic 工程師告訴他，未來的模型會聰慧到不需要這種驗證層。同時 Project Mytos 也聲稱能解決一切問題。這讓他開始思考：新模型的推出真的能取代驗證層嗎？答案是否定的。他發現一個關鍵洞察——模型能力的增加不等於可靠性的增加。無論給多好的指令、最好的 spec、最全的 MCP server，驗證永遠是必需的。
更重要的是，他發現驗證層有個意想不到的副作用：有了堅實的驗證層，即使使用更小、更便宜的模型（如 Haiku 或開源模型），也能確保輸出品質。反過來說，不必非得用最強大的前沿模型——驗證層才是成本最佳化的關鍵。
隨著他不斷分享這個想法，他發現整個行業都在做同樣的事：Anthropic 開發了 Executive Advisor Pattern（一個 agent 幹活，一個 advisor 驗證），OpenAI 構築了 Harness Engineering，Kudo 提供全面的程式碼審查，Meta、Facebook 各自構建驗證系統。這表明驗證層並非個別問題，而是一個通用模式。他意識到，驗證層應該是語言無關的、可共享的，應運行在所有層級上——對話結束、提交前、multi-agent workflow、非同步操作，甚至非確定性的 LLM-as-judge 審查。
最後他得出結論：整個行業的價值轉移已經發生。曾經我們問「AI 能編寫代碼嗎？」，現在真正的問題是「我們能驗證它嗎？」。工程師應該停止優化代碼本身，而是專注於設計驗證系統。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
