Harness Engineering: Building an AI Software Factory
三句話摘要
用 AI 代理和 harness engineering 实现软件工厂，让代理自主完成代码工作，人类专注优化反馈循环。 从被代理纠缠的手工修复转向设计清晰的反馈循环，让代理自我改进，是解锁 AI 时代高效工程的关键。 软件工厂的三维度评估不是同步解锁。自主性（autonomy）指需要多少人类纠正才能让代理答对，可通过 PR 评论数测量。自动化（automation）是需要多少监督，这往往滞后于自主性——很多团队的代理已经自主，但人心理上不信任，照样逐条审查。质量则是产品本身不能恶化。
重點整理
重點- 1
软件工厂的三维度评估不是同步解锁。自主性（autonomy）指需要多少人类纠正才能让代理答对，可通过 PR 评论数测量。自动化（automation）是需要多少监督，这往往滞后于自主性——很多团队的代理已经自主，但人心理上不信任，照样逐条审查。质量则是产品本身不能恶化。
- 2
Harness engineering 核心是三层循环。内循环是 unit tests 和 linter 这类快速检查——你应该更严苛，每次代理犯错就加规则。外循环是代码审查和 QA 这样的深度审查。元循环是 maintenance agents 自动监控 PR 评论、CI 结果，发现问题模式，自动提交改进 PR。
- 3
关键的转变是改变交互模式。从让代理跑完就手工修改，改成用 issue tracker 和 PR flow 作为唯一界面——代理从 issue 开始，输出 PR，人类留评论，代理自己读评论修复。这样所有交互可见可追踪，后续代理可以识别重复反馈并改进系统。
- 4
实现需要堆砌基础设施：skill registry 分享工作流、company brain 给代理查阅文档，解决代理无法访问数据库和 SSO 的"agent IT"问题、建立 cloud 环境让代理稳定运行、codify 质量标准让团队行为自然调整。
實用技巧與重點
乾貨- 数字：TESL 过去四周每周新增 30% PRs；700 PRs/周；24 名工程师；100+ 个 verifiers；30 美分/天 PR 审查成本（vs $25/PR）；OpenAI 白皮书：从 one-shot 改成 ticket/PR 工作流见 5 倍生产力提升
- 工具：Tesseract、Claude Code、Cursor、CodeRabbit、Granola、Playwright
- 三循环定义：Inner Loop（unit tests, linters, manual verification）；Outer Loop（agentic code review, QA, screenshots）；Meta Loop（maintenance agents watching PR comments, CI, issues）
- 流程：issue tracker → agent picks up → PR with comments → agent auto-fixes → maintenance agent improves harness
- 关键实践：change risk analyzer 评估 PR 风险等级；verifiers 替代昂贵 agentic review；每周五 1 小时团队同步；分解大 PR 为小 PR 以自动 merge
結論
結論“从被代理纠缠的手工修复转向设计清晰的反馈循环，让代理自我改进，是解锁 AI 时代高效工程的关键。”
完整解析
詳細演讲者 Drew 是 TESL 的产品设计主管，曾任 AI 研究主管。他描绘了一个核心问题：TESL 过去四周每周新增 30% PRs，变化加速到团队成员甚至不知道隔壁同事在做什么的程度。传统的人工审查和手工修复已成瓶颈。
他提出"软件工厂"的解决方案——一个由 AI 代理驱动的端到端系统，完全构建和交付产品，而人类转为专注优化这个系统。衡量成熟度需追踪三个维度。自主性（autonomy）是需要多少人类纠正，直接可测：PR 评论数。自动化（automation）是需要多少监督——这往往滞后于自主性，因为即使代理很自主，人们心理上仍不信任，照样逐条审查。质量则确保产品不恶化。
实现工具是"harness engineering"，包含三层循环。内循环是 unit tests 和 linter——快速廉价，关键是不再维护，而是更严苛。每次代理犯错就加规则：某模块不应导入另一模块？加到 linter。外循环是代码审查和 QA——跑应用、截图、看实际效果，让人对 PR 有信心。元循环是 maintenance agents 自动监控一周内的 PR 评论、CI 结果、issue，发现哪些问题反复出现，自动提交改进 PR。
但最大难点是组织层面。保持工作流程很消耗注意力——不要让代理修复失败，要停下来问"如何改进 inner loop 让它不再犯这个错"，这与"我们已经能在两小时内发布"的诱惑相悖。工作变成了没人喜欢的"老虎机"：反复测试、改进、重试。而且难以察觉系统性问题——某个代码区域反复出问题，但信息零散。
关键突破是改变交互方式。从 interactive session 改成 issue tracker + PR flow 作为唯一界面。代理从 issue 开始工作，输出 PR，人类留评论，代理读评论自动修复。这样做三个好处：强制前期设计正确，无法快速纠正；所有交互可见可追踪，后续代理识别重复反馈改进系统；能构建 maintenance agents 在后台持续改进，无需手工干预。
实现还需基础设施。Skill registry 像 npm 一样管理工作流；company brain 让代理查阅架构、会议记录，但要警惕过时信息；"agent IT"解决代理访问数据库、SSO、日志的能力；cloud 环境让代理稳定运行。随着成熟，转向 maintenance agents——每天扫描所有 PR、issue、CI，发现问题模式，自动提出改进，人类只审查建议。讲者认为这反而提升质量：因为现在能投入无限精力到 code review（不受人力限制），能自动修复那些被搁置在 backlog 的已知 bug。文化也更开放——不只工程师，任何人都能通过代理参与代码工作。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
