KeyFrame內部研究專用

Goal Engineering - The New Buzzword

Prompt Engineering英文
觀看原始影片

三句話摘要

AI 代理工程的核心原則:應根據人類審查效率而非資料庫架構來設計目標範圍 目標工程的核心智慧是優化人類審查效率,藉由粒度化代理設計和分層架構,使單次修正能升級整個系統。 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。

重點整理

  1. 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。

  2. Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。

  3. 分層架構的威力在於知識遷移:背景代理蒐集數據,專一代理執行可重複工作,使得單次修正能應用到整個代理艦隊,大幅提升人類審查的投報率。

  4. 「目標工程」本質是優化人機互動迴圈的速度,而非追求更聰明的 AI。設計決策應圍繞「人類可多快審查完成品」這個約束條件。

實用技巧與重點

  • Actively AI 案例:客戶帳戶代理初期失敗
  • 失敗原因:人類必須審查 10 種不同類型任務散落在不同代理中
  • 解決方案架構:
  • 背景代理(Background agents):蒐集客戶帳戶客觀數據
  • 專一代理(Single agent):每個代理負責一種可重複工作,跨所有帳戶執行
  • 改進後成果:
  • 人類可在 2 分鐘內評分 20 個相似的草稿
  • 一次修正可升級整個艦隊(所有代理)
  • 核心設計原則:根據人類審查速度設計代理範圍,不按資料庫架構設計

結論

目標工程的核心智慧是優化人類審查效率,藉由粒度化代理設計和分層架構,使單次修正能升級整個系統。

完整解析

軟體工程在過去幾年間經歷了一系列概念上的演進:從提示工程(prompt engineering)到上下文工程(context engineering),再到束縛工程(harness engineering),現在又來到了目標工程(goal engineering)。表面上看,這像是業界每四個月就重新命名一次軟體工程原理的遊戲,但在這個新術語底下,其實隱藏著一個真正重要的架構洞察。

當你將一個 AI 代理指向一個長期開放式的目標時,特別是當沒有單元測試可以執行來驗證成功時,最難提供給代理的上下文通常不是你的技術文件或 API 規格。真正最難的,是藏在人類腦子裡的那種判斷力和品味。在 Actively AI 的案例研究中,他們一開始為某個客戶帳戶建立了一個代理,結果失敗了。失敗的原因不是因為模型太弱,而是因為人類審查者討厭要在 10 種完全不同的任務類型之間切換,這些任務散落在各個不同的代理中,而且一個代理學到的東西根本無法轉移到下一個代理去。

他們的解決方案是重新設計架構的方式。背景代理先蒐集了客戶帳戶的各種客觀數據,然後讓一個代理專注於處理一種可重複的工作,並將這個工作應用到每個客戶帳戶上。這種設計的威力在於:人類審查者現在可以在 2 分鐘內評分 20 個類似的草稿輸出,因為他們保持在同一種心智模式裡。更關鍵的是,當審查者對其中一個輸出進行一次修正時,這個修正可以升級整個代理艦隊——所有帳戶都受益於這個單次修正。

所以目標工程歸根結底就是一條核心規則:根據人類審查 AI 的速度來設定代理的範圍和邊界,而不是根據你的資料庫架構來設計。這把焦點從「如何構建更聰明的 AI」轉移到「如何設計讓人類能更快速、更有效地審查和改進 AI 輸出的系統」。當然,考慮到軟體業界的命名速度,下個月肯定又會有人發明出「測試工程」之類的新術語。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

OpenAI Is Delaying GPT-6.2 Astra? + Gemini 4 Oxygen Leaks!

World of AI看原片 ↗
  • OpenAI 延遲發布 GPT-6.2 Astra 係因與 Apollo Research、Meter Evals、Transluce AI、Goodfire AI 等四家機構合作進行深度安全評估,包括檢驗模型是否會秘密違背開發者意圖及工具
  • Sam Altman 大膽宣稱 OpenAI 已實現 AGI,同時承諾將沿著 RSI 譜線加速發展,但強調安全性為當前最高優先級,意味著未來模型發布仍將受限於嚴格的評估程序。