工厂使用LangSmith自动化反馈循环，使迭代速度提高2倍
realtime news Jun 20, 2024 06:49
工厂通过使用LangSmith自动化反馈循环并增强调试过程，实现了迭代速度提高2倍的成就。
在当今快节奏的软件开发环境中，简化的软件开发生命周期 (SDLC) 能力至关重要。根据LangChain博客，工厂以构建面向SDLC自动化的安全AI平台而闻名，通过利用LangSmith显著提高了迭代速度。
利用LangSmith实现安全可靠的AI操作
工厂的一系列Droids自动化了SDLC的各个阶段，提升了大型组织的工程速度。他们的Code Droid在复杂的软件开发任务中达到了最先进的性能。通过使用自托管版本的LangSmith，工厂满足了自主LLM系统的复杂可观察性要求，同时保持企业级的安全性和隐私。
自托管的LangSmith提供了必要的可观察性基础设施，以管理复杂的LLM工作流程，同时确保数据隐私和安全。工厂可以在数据控制严格的环境中部署LangSmith，使大多数LLM基础设施无法成功运行。
工厂面临的主要挑战之一是在客户环境中确保强大的可观察性。传统的方法用于跨LLM管道跟踪数据流和调试上下文意识问题非常繁琐。此外，工厂的定制LLM工具使得大多数LLM可观察性工具难以设置。LangSmith通过第一方API提供完整的解决方案和自定义跟踪。
工厂集成了LangSmith将跟踪数据导出到AWS CloudWatch日志，这使团队能够准确地跟踪LLM管道各个阶段的数据流。该集成帮助维持了LLM数据流从一个步骤到下一个步骤的单一事实来源，这对调试和优化至关重要。
另一个挑战是调试生成响应中的上下文意识问题。工厂使用LangSmith将反馈直接链接到每次LLM调用，提供对潜在问题的即时洞察。此集成帮助团队快速识别和解决诸如幻觉等问题，而无需专有的日志系统。通过在每次LLM调用旁边提供反馈，工厂能够确保AI的输出在上下文上是准确且相关的，基于实际的客户输入。
使用LangSmith闭环产品反馈循环
除了可观察性外，工厂还使用LangSmith优化了产品反馈循环，重点是提示优化和反馈API的利用。传统的手动提示优化方法耗时且往往不准确。LangSmith的反馈API简化了这一过程，使工厂能够收集和分析反馈，然后根据实时数据优化他们的提示。
工厂使用反馈API将反馈附加到工作流程的各个阶段。然后将反馈导出到数据集并分析模式和改进领域。
通过基准测试示例和自动化优化过程，工厂增加了对准确性的控制，并提高了其AI模型的整体性能。该精简的反馈收集和处理不仅提高了提示优化，还减少了分析反馈的心理负担和基础设施需求。
这种方法在所有工作流程中显著提高了准确性和效率。与之前的手动数据收集和由人驱动的提示迭代方法相比，工厂能够使迭代速度提高两倍。工厂还报告，他们的平均客户在开到合并时间方面减少了约20％，在受Droids影响的代码上的代码波动减少了3倍，且在前90天。
展望未来：扩展SDLC中的AI自主
随着工厂继续创新，他们的重点仍然是提升整个SDLC的AI能力。与LangChain的合作以及使用LangSmith在这段旅程中具有决定性作用，提供了实现软件开发前所未有的效率和质量所需的工具和基础设施。
工厂的Droids已经为工程操作带来了显著改善。客户报告周期时间平均减少了高达20％，节省了超过550,000小时的开发时间。这些大量的时间节省使工程团队能够专注于创新和增值任务，从而提高整体生产力并减少运营成本。
随着他们的AI Droids的公开发布以及Sequoia Capital领导的1500万美元的A轮融资，工厂未来充满了光明。他们与LangChain的持续合作是这一策略的基石，确保工厂在AI驱动的软件开发前沿保持领先。
“我们与LangChain的合作对于成功部署企业级LLM系统至关重要。由于LangChain团队提供的可观察性和编排层工具，我们在决策和操作能力方面变得更加自信。” – 工厂首席技术官Eno Reyes
关于工厂
工厂是一家致力于自动化软件开发生命周期的企业AI公司。通过集成先进的自主Droids，工厂帮助企业实现更快、更可靠且成本更低的软件交付。
了解更多见工厂官网。
关于LangChain
LangChain, Inc.成立于2023年初，旨在帮助开发人员构建上下文感知推理应用程序。该公司的受欢迎的开源框架为开发人员提供了构建生产就绪应用程序的构件。LangSmith作为一体化的SaaS平台，补充了这一点，使开发和监控LangChain和LLM驱动应用程序的整个工作流程成为可能。
了解更多见LangChain官网。
Image source: Shutterstock