KeyFrame內部研究專用

Harness Engineering: Building an AI Software Factory

Tessl AI53 min英文
觀看原始影片

三句話摘要

用 AI 代理和 harness engineering 实现软件工厂,让代理自主完成代码工作,人类专注优化反馈循环。 从被代理纠缠的手工修复转向设计清晰的反馈循环,让代理自我改进,是解锁 AI 时代高效工程的关键。 软件工厂的三维度评估不是同步解锁。自主性(autonomy)指需要多少人类纠正才能让代理答对,可通过 PR 评论数测量。自动化(automation)是需要多少监督,这往往滞后于自主性——很多团队的代理已经自主,但人心理上不信任,照样逐条审查。质量则是产品本身不能恶化。

重點整理

  1. 软件工厂的三维度评估不是同步解锁。自主性(autonomy)指需要多少人类纠正才能让代理答对,可通过 PR 评论数测量。自动化(automation)是需要多少监督,这往往滞后于自主性——很多团队的代理已经自主,但人心理上不信任,照样逐条审查。质量则是产品本身不能恶化。

  2. Harness engineering 核心是三层循环。内循环是 unit tests 和 linter 这类快速检查——你应该更严苛,每次代理犯错就加规则。外循环是代码审查和 QA 这样的深度审查。元循环是 maintenance agents 自动监控 PR 评论、CI 结果,发现问题模式,自动提交改进 PR。

  3. 关键的转变是改变交互模式。从让代理跑完就手工修改,改成用 issue tracker 和 PR flow 作为唯一界面——代理从 issue 开始,输出 PR,人类留评论,代理自己读评论修复。这样所有交互可见可追踪,后续代理可以识别重复反馈并改进系统。

  4. 实现需要堆砌基础设施:skill registry 分享工作流、company brain 给代理查阅文档,解决代理无法访问数据库和 SSO 的"agent IT"问题、建立 cloud 环境让代理稳定运行、codify 质量标准让团队行为自然调整。

實用技巧與重點

  • 数字:TESL 过去四周每周新增 30% PRs;700 PRs/周;24 名工程师;100+ 个 verifiers;30 美分/天 PR 审查成本(vs $25/PR);OpenAI 白皮书:从 one-shot 改成 ticket/PR 工作流见 5 倍生产力提升
  • 工具:Tesseract、Claude Code、Cursor、CodeRabbit、Granola、Playwright
  • 三循环定义:Inner Loop(unit tests, linters, manual verification);Outer Loop(agentic code review, QA, screenshots);Meta Loop(maintenance agents watching PR comments, CI, issues)
  • 流程:issue tracker → agent picks up → PR with comments → agent auto-fixes → maintenance agent improves harness
  • 关键实践:change risk analyzer 评估 PR 风险等级;verifiers 替代昂贵 agentic review;每周五 1 小时团队同步;分解大 PR 为小 PR 以自动 merge

結論

从被代理纠缠的手工修复转向设计清晰的反馈循环,让代理自我改进,是解锁 AI 时代高效工程的关键。

完整解析

演讲者 Drew 是 TESL 的产品设计主管,曾任 AI 研究主管。他描绘了一个核心问题:TESL 过去四周每周新增 30% PRs,变化加速到团队成员甚至不知道隔壁同事在做什么的程度。传统的人工审查和手工修复已成瓶颈。

他提出"软件工厂"的解决方案——一个由 AI 代理驱动的端到端系统,完全构建和交付产品,而人类转为专注优化这个系统。衡量成熟度需追踪三个维度。自主性(autonomy)是需要多少人类纠正,直接可测:PR 评论数。自动化(automation)是需要多少监督——这往往滞后于自主性,因为即使代理很自主,人们心理上仍不信任,照样逐条审查。质量则确保产品不恶化。

实现工具是"harness engineering",包含三层循环。内循环是 unit tests 和 linter——快速廉价,关键是不再维护,而是更严苛。每次代理犯错就加规则:某模块不应导入另一模块?加到 linter。外循环是代码审查和 QA——跑应用、截图、看实际效果,让人对 PR 有信心。元循环是 maintenance agents 自动监控一周内的 PR 评论、CI 结果、issue,发现哪些问题反复出现,自动提交改进 PR。

但最大难点是组织层面。保持工作流程很消耗注意力——不要让代理修复失败,要停下来问"如何改进 inner loop 让它不再犯这个错",这与"我们已经能在两小时内发布"的诱惑相悖。工作变成了没人喜欢的"老虎机":反复测试、改进、重试。而且难以察觉系统性问题——某个代码区域反复出问题,但信息零散。

关键突破是改变交互方式。从 interactive session 改成 issue tracker + PR flow 作为唯一界面。代理从 issue 开始工作,输出 PR,人类留评论,代理读评论自动修复。这样做三个好处:强制前期设计正确,无法快速纠正;所有交互可见可追踪,后续代理识别重复反馈改进系统;能构建 maintenance agents 在后台持续改进,无需手工干预。

实现还需基础设施。Skill registry 像 npm 一样管理工作流;company brain 让代理查阅架构、会议记录,但要警惕过时信息;"agent IT"解决代理访问数据库、SSO、日志的能力;cloud 环境让代理稳定运行。随着成熟,转向 maintenance agents——每天扫描所有 PR、issue、CI,发现问题模式,自动提出改进,人类只审查建议。讲者认为这反而提升质量:因为现在能投入无限精力到 code review(不受人力限制),能自动修复那些被搁置在 backlog 的已知 bug。文化也更开放——不只工程师,任何人都能通过代理参与代码工作。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。