Agents in Production: How OpenGov Built and Scaled OG Assist - Gabe De Mesa, OpenGov

Open Gov是一家14年前创立、致力于赋能有效政府治理的软件公司，主要提供预算编制、采购、资产管理和许可证管理的ERP系统。近期公司推出了OG Assist——一个集成于所有产品导航栏的AI代理按钮。这个系统能够理解用户需求，调用特定产品的工具函数，从而在聊天界面中为用户提供智能协助。

团队最初采用LangChain框架，但随着使用场景复杂化和规模扩大，发现开源框架的约束逐渐显现。关键决策是全面投注Effect库——一个TypeScript开源生态，内置了schema验证、错误处理、日志、分布式追踪等能力。基于Effect，团队构建了self-hosted的代理循环，核心模块是effect-native agent loop。这个循环通过依赖注入模式实现语言模型的灵活替换，并使得trace、结构化并发、日志控制在整个系统中保持一致。开发者通过stream text函数处理prompt流，获得了对模型交互的完全掌控权。

在协议规范方面，团队采纳了Google发起的开放标准Agent-to-Agent协议。该协议定义了严格的agent card结构（包含name、description等字段）、工具路由、后端schema，甚至支持metadata扩展和a2UI等。协议驱动的开发消除了前后端对接的歧义，使前后端能围绕明确的契约高效协作。这种规范性方法被团队称为"huge bet on effect"，并在实践中证实了其价值。

在生产安全方面，系统实现了多层防护。第一层是人类在循环中的确定性角色：当代理尝试执行需要审批的工具调用时，系统会deterministically中断代理循环，弹出UI让人类明确接受或拒绝。第二层是沙箱隔离：代理执行代码、创建文件时都在ephemeral的隔离空间中进行，确保对生产系统无风险。这种分层防护在处理mutating operations时尤为重要，确保人类始终掌控决策权。

针对长上下文问题，团队采用了滚动总结策略。相比简单堆砌最新消息，系统每n条消息后生成一次summary，同时保留最近的n-5或n-10条具体消息。关键创新在于memory模块，它维护这些历史总结，当用户引用早期内容时（例如"记得我们之前讨论过...的事吗？"），代理可以通过回忆这些总结来维持对话的连贯性和上下文感。这种混合策略既解决了token溢出问题，又保留了细节可追溯性。

在可观测性方面，Effect提供了开箱即用的分布式追踪能力。所有Effect函数调用都被自动标记span并汇聚为trace，开发者可以详细分析API调用链路、耗时分布、性能瓶颈，并在故障时跨服务关联排查。这对于代理系统与多个外部API紧密集成的场景尤为关键。此外，系统还支持运行时UI生成——例如当用户要求撰写长文并要求列举主题选项时，代理可以根据注册的form原语在运行时动态构建表单并呈现选项，营造个性化的实时体验。

在迭代循环上，团队采集了多维度信号以实现快速改进。用户层面，通过UI的点赞/点踩反馈机制直接表达满意度；系统层面，在CI中运行automated evals，针对真实完成结果验证工具是否被正确调用、操作是否达成预期。基于这些量化信号，团队形成了持续加速的反馈循环，快速改进工具、技能和代理框架本身。

工具和技能是系统的基础原语。团队采用Effect定义的声明式模式来构建工具（如示例中的get_dad_joke），然后将工具组织成toolkit（工具集合），最后向语言模型注册。这种组合化、易扩展的设计让添加新功能变得高效，同时保持了代码的结构清晰。

作为意外收获，Open Gov内部开发流程也从这套系统中获益。团队广泛使用Claude和Cursor加速代码阅读、编写、审查和部署，这些AI工具与外部代理系统形成了正反馈：外部系统的工具设计经验反哺内部工具建设，内部工具的成功应用又验证了架构设计的有效性。