KeyFrame內部研究專用

Your coding agent doesn't always follow your rules — Talha Sheikh, Checkout.com

AI Engineer10 min英文
觀看原始影片

三句話摘要

AI agent 的真正價值在於驗證層設計,而非模型能力——如何通過確定性檢查確保任務完成品質。 工作重點應從打造完美的代碼轉向打造完善的驗證層,驗證系統才是 AI 時代軟體品質的真正保證。 指令無法替代驗證:即使給予充分的 spec、MCP server、sub agent 和上下文,仍需確定性驗證。能力增加不等於可靠性增加,新模型推出時改善的是能力而非信任度。

重點整理

  1. 指令無法替代驗證:即使給予充分的 spec、MCP server、sub agent 和上下文,仍需確定性驗證。能力增加不等於可靠性增加,新模型推出時改善的是能力而非信任度。

  2. 驗證層設計的通用性:講者發現每家公司都在各自開發驗證系統(Anthropic、Meta、OpenAI 等),因此驗證應該是語言無關、可共享的模式,適用於各個階段(對話結束時、提交前、multi-agent 工作流、非同步操作)。

  3. 成本優化關鍵:強大的驗證層使得可以使用較小的模型(如 Haiku 或開源模型),無需昂貴的 Opus 等前沿模型,通過減少驗證層消耗的時間也能大幅降低成本。

  4. 價值轉移:AI 領域的核心價值正在從「能否編寫代碼」轉移到「能否驗證代碼」,整個行業應聚焦於完善驗證系統而非依賴模型智能。

實用技巧與重點

  • 工具與產品名稱:Vector V1、Vector harness、Claude hooks
  • 相關模式:Executive Advisor Pattern(Anthropic)、Harness Engineering(OpenAI)、Code Review(Kudo)
  • 驗證運行時機:對話結束時、提交前、multi-agent workflow 中、非同步 agent 操作、LLM 作為評判者
  • 具體案例:測試輸出顯示首次失敗、重試、最終全部通過的迭代過程
  • 成本結構示意:Opus(最昂貴)> Vector + 少量 guardrails(較便宜)> Vector + 多層 guardrails(大幅降低)
  • LinkedIn 聯繫:講者提供,可透過訊息分享 Vector harness

結論

工作重點應從打造完美的代碼轉向打造完善的驗證層,驗證系統才是 AI 時代軟體品質的真正保證。

完整解析

講者從一個切身的挫折開始說起:他想用 Claude Code 自動化工作,但每次 agent 宣稱任務完成時,實際上總有些小細節遺漏,導致他不得不反覆對 Claude 說「修這裡、修那裡」。他意識到問題的根源:他本人成為了「強制執行層」,每次都要驗證 agent 的輸出是否符合預期。這讓他產生一個想法——能否建立一個自動化、確定性的驗證系統?

於是他開發了 Vector V1,這是一個透過 Claude hooks 運作的驗證工具。當 Claude 完成一個 session 時,hooks 自動呼叫 Vector 來檢查任務是否真的完成。開發者在配置檔中定義所有需要驗證的項目,如果檢查失敗,系統會自動告訴 Claude「這裡失敗了,請再試一次」,直到所有測試通過。

不過講者後來遇到了瓶頸——Anthropic 工程師告訴他,未來的模型會聰慧到不需要這種驗證層。同時 Project Mytos 也聲稱能解決一切問題。這讓他開始思考:新模型的推出真的能取代驗證層嗎?答案是否定的。他發現一個關鍵洞察——模型能力的增加不等於可靠性的增加。無論給多好的指令、最好的 spec、最全的 MCP server,驗證永遠是必需的。

更重要的是,他發現驗證層有個意想不到的副作用:有了堅實的驗證層,即使使用更小、更便宜的模型(如 Haiku 或開源模型),也能確保輸出品質。反過來說,不必非得用最強大的前沿模型——驗證層才是成本最佳化的關鍵。

隨著他不斷分享這個想法,他發現整個行業都在做同樣的事:Anthropic 開發了 Executive Advisor Pattern(一個 agent 幹活,一個 advisor 驗證),OpenAI 構築了 Harness Engineering,Kudo 提供全面的程式碼審查,Meta、Facebook 各自構建驗證系統。這表明驗證層並非個別問題,而是一個通用模式。他意識到,驗證層應該是語言無關的、可共享的,應運行在所有層級上——對話結束、提交前、multi-agent workflow、非同步操作,甚至非確定性的 LLM-as-judge 審查。

最後他得出結論:整個行業的價值轉移已經發生。曾經我們問「AI 能編寫代碼嗎?」,現在真正的問題是「我們能驗證它嗎?」。工程師應該停止優化代碼本身,而是專注於設計驗證系統。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI