KeyFrame內部研究專用

Designing Agents (The Floor Is the Frontier) — Ben Hylak, Raindrop

AI Engineer19 min中文
觀看原始影片

三句話摘要

如何通过科学的问题发现与评估方法,切实提高 AI Agent 在生产环境中的性能与可靠性。 提高 Agent 可靠性的关键,不在于打造完美的评估框架,而在于建立能快速发现问题、明确问题根源(时间和影响范围)、并根据用户规模灵活应对的系统。 Agent 需要全新的评估哲学。从聊天机器人时代的"事实检查"(问首都是哪里?)转向像单元测试和端到端测试那样的代码化评估,因为 Agent 涉及工具调用、多步推理和不可预测的创意决策,静态基准测试早已过时。

重點整理

  1. Agent 需要全新的评估哲学。从聊天机器人时代的"事实检查"(问首都是哪里?)转向像单元测试和端到端测试那样的代码化评估,因为 Agent 涉及工具调用、多步推理和不可预测的创意决策,静态基准测试早已过时。

  2. "地板"比"天花板"更重要。讲者区分了 Agent 的最佳能力(天花板,如创意问题解决)与最坏情况(地板,如误删数据、无意发送垃圾邮件)。虽然公司通常关注能力提升,但用户离弃的真正原因往往是底层故障破坏了信任。

  3. 两个关键指标决定问题优先级:问题何时开始(帮助定位变化原因)和影响用户比例。这比问题本身的严重程度更重要,因为它直接影响应对策略和资源投入。

  4. 代码模式优于聚类。聚类无法可靠追踪时间变化,且不同公司对"同类问题"定义各异;代码模式可写分类器在生产规模运行,具有强可扩展性,并能清晰给出时间和影响边界。

實用技巧與重點

  • 公司和工具:
  • Raindrop:问题检测托管服务,类似 Sentry 但针对 Agent
  • Workshop:开源追踪工具,支持自癒循环,已有数千人使用
  • howtoeval.com:评估 AI Agent 的资源网站
  • 评估工具:Vitest evals(Vitest + 语法糖)、OpenAI 宏观评估(Macro Evals)
  • 客户包括:Vercel、Speak、Framer 等财富 100 强企业
  • 关键概念:
  • 时间聚类(Temporal Clustering):追踪聚类随时间变化的已知难题
  • Code Pattern:基于代码的分类模式,可在 MCP 背景下扩展应用
  • 天花板 vs 地板:最高能力 vs 最坏情况
  • 用户规模阈值:
  • 5 个用户:需要高度定制化修复,不适合 A/B 测试
  • 数百万用户:可进行小流量实验
  • 日均千万~亿级消息:实验价值极高

結論

提高 Agent 可靠性的关键,不在于打造完美的评估框架,而在于建立能快速发现问题、明确问题根源(时间和影响范围)、并根据用户规模灵活应对的系统。

完整解析

讲者来自 Raindrop 公司,一家专注 AI Agent 问题检测的初创企业。他开场指出,虽然 Agent 已部署于金融、医疗、国防等领域,但产业对 Agent 的认知仍停留在聊天机器人时代,这是根本问题所在。

Agent 并非简单的聊天机器人。聊天机器人的评估很直白——问"美国首都是什么",检查答案是否为"华盛顿特区"。但 Agent 拥有工具使用能力、自主决策权和创意问题解决能力。当遇到障碍时,它会尝试反汇编代码、调用意想不到的工具组合,这既让 Agent 强大,也让评估变得复杂得多。

讲者观察到,网上关于 Agent 评估的讨论多数仍在讨论"1000 个评估数据集"这类聊天机器人时代的做法,但现实中没几个公司真的这样做。根本问题是:一旦你切换模型(比如从 GPT 转向 Claude Code)或框架,投入数月打造的评估系统立刻失效。因此讲者强烈建议不要投入过多精力在庞大的静态评估框架上,而应该像对待代码一样对待评估——让它更像单元测试,更灵活、更可维护。

讲者重点阐述了两个核心概念。一是"天花板"与"地板"。天花板指 Agent 能达到的最高能力——有时候不可预测的创意解决方案很有用。地板指最坏情况——推荐竞争对手、误删关键数据、因为能访问邮箱而无意间发送 AI 生成的垃圾邮件。讲者强调,地板比天花板更值得关注,因为那些底层故障最容易摧毁用户信任。用户很少因为 Agent 功能不够强而流失,但会因为一次严重的失误而永久离开。

在问题发现的具体方法上,讲者提出了三个他认为"从未被公开讨论过"的策略洞见。第一个是反对盲目聚类。许多公司的朴素做法是把所有执行痕迹收集起来,然后聚类寻找规律。这对一次性错误分析可能有帮助,但无法很好扩展。聚类在追踪时间变化时不可靠(学术界已知的"时间聚类"是难题),且边界模糊——"价格错误"和"退款计算错误"可能源于完全不同的代码路径,但聚类会将它们混为一类,掩盖真实原因。

第二个策略是依据两个指标判断优先级:问题何时开始和影响多少用户。如果一个问题昨天才出现,你能快速追溯变化(是换了模型?改了工具链?)。如果仅影响 3 个用户而非 10 万个用户,应对策略截然不同。讲者分享了丰富的客户经验:从只有 5 个用户的企业内部应用(可能需要完美的一对一修复),到日均千万级消息的平台(可以做 A/B 测试和大规模实验),策略必须因人而异。

第三个策略是用代码模式(Code Pattern)替代聚类。代码模式涉及编写分类器来精确追踪和分类问题,这些分类器可在沙箱中开发,也可在生产规模运行,具有强大的可扩展性。讲者特别强调这在 Model Context Protocol 的背景下更显价值,并推荐所有公司尝试这个方法。

讲者给出了最后一个反直觉但至关重要的建议:不要让 Agent 去做异常检测。Agent 在这方面表现很糟糕。正确的做法是用确定性的、易于量化的指标(比如关键词出现频率突然激增)来发现潜在异常,然后让 Agent 对这些已确认的异常进行深入调查和诊断。这样既充分发挥了 Agent 的创意和推理优势,又避免了它在无结构、无方向的探索中的弱点。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。