随着人工智能技术的飞速发展，大型语言模型（LLMs）在各个领域的应用日益广泛。然而，LLMs的部署、管理和优化却是一项复杂而繁琐的任务(LLMOps：大型语言模型的生产运营之道)，这催生了对LLMs Ops（Operations）工具的需求。本文将介绍三款热门的LLMs Ops工具——LangSmith、Langfuse和Dify，它们各自在调试、监控、低代码开发等方面提供了强大的支持，助力企业高效构建和优化LLMs应用。

一、LLMs应用开发中的挑战

（一）数据集管理问题

1. 提示词和模型版本

• 主要依靠代码约束进行版本管理，容易出现研发团队遗忘修改的情况，导致测试数据结果中出现版本不一致的问题。

• 日志管理缺陷

• 日志完全基于代码，查看测试结果和比较提示词非常费力，可视化在审查过程中具有重要价值。

（三）模型切换不便

1. 切换大型模型不方便，缺乏意愿。每个要测试的模型都需要研发人员进行连接，工作量大。

2. 人们往往依赖他人评价来选择测试模型，而不是积极主动地进行全面测试。

（四）自动化测试困境

1. 模型的效果评估测试耗时较长，如一批 50 条数据的测试需要约十分钟，200 条数据的大测试集则需要约半小时。这使得提示工程师在调整案例时需要等待，思维处于异步状态。

2. 日志问题也影响了自动化测试，虽然有总结输出，但仔细比较案例仍需回到原始数据集文本，难以准确判断版本修改后的错误类型变化。

二、LangSmith：LLMs应用的调试、测试与监控专家

link（https://smith.langchain.com/）

LangSmith（LangSmith：赋能灵活高效的LLM开发）是一个专注于大型语言模型应用调试、测试和监控的平台。它帮助开发者将LLM应用从原型阶段顺利过渡到生产环境，尤其适用于需要高可靠性和性能的企业级应用。

1. 快速调试新链、代理或工具集：LangSmith提供了强大的调试功能，使得开发者能够迅速定位并修复LLM应用中的问题。无论是新的链式逻辑、代理还是工具集，都能在短时间内得到充分的测试和优化。

2. 评估不同提示和语言模型的效果：通过LangSmith，开发者可以方便地比较不同提示和语言模型在特定数据集上的表现，从而选择出最优的模型组合。

3. 支持数据集上的多次运行以确保质量标准：为了确保LLM应用的质量，LangSmith允许开发者在数据集上多次运行特定的链式逻辑，并自动评估其输出结果是否符合预期的质量标准。

4. 捕获使用痕迹以生成洞察：LangSmith能够捕获LLM应用的使用痕迹，并生成有价值的洞察报告，帮助开发者了解应用的使用情况、性能瓶颈以及潜在的改进方向。

5. 支持复杂推理任务的跟踪：对于涉及复杂推理任务的LLM应用，LangSmith提供了强大的跟踪功能，确保每个推理步骤都能得到准确的记录和评估。

6. 支持批量数据测试与评估：为了提升测试效率，LangSmith支持批量数据的测试与评估，使得开发者能够在短时间内对大量数据进行处理和分析。

7. LangSmith Hub：共享和发现优秀的提示模板：LangSmith Hub是一个开放的社区平台，开发者可以在这里共享和发现优秀的提示模板，从而加速LLM应用的开发进程。

三、Langfuse：LLMs应用的监控与分析利器

link：（https://github.com/langfuse/langfuse）


Langfuse是一个监控和分析平台，为LLMs应用提供了强大的可观察性、分析技术、实时监控和优化能力。它帮助开发者和运维团队更加高效地管理和维护LLMs应用。

1. 核心追踪：详细检查和分析链式应用的每一步：Langfuse能够详细追踪链式应用的每一步执行过程，并提供丰富的分析数据，帮助开发者深入了解应用的内部机制。

2. 成本追踪：了解应用的成本和令牌使用情况：通过Langfuse的成本追踪功能，开发者可以清晰地了解LLMs应用的成本和令牌使用情况，从而做出更加合理的资源分配决策。

3. 仪表盘：提供应用随时间变化的概览：Langfuse的仪表盘提供了应用随时间变化的概览图，包括统计数据和图表，帮助开发者直观地了解应用的性能和稳定性。

4. 评估：对新条目进行全面配置评估：在添加新条目时，Langfuse能够对其进行全面的配置评估，确保新条目与现有系统的兼容性和稳定性。

5. 数据集：向数据集中添加痕迹并准备测试：为了提升测试效果，Langfuse允许开发者向数据集中添加痕迹，并准备相应的测试数据，从而更加准确地评估LLMs应用的性能。

Langfuse的开源特性使得它成为了一个广泛应用的LLMs监控与分析工具。无论是大型企业还是初创公司，都可以利用Langfuse来优化和提升LLMs应用的性能和稳定性。

四、Dify：LLMs应用的低代码开发平台

link：（https://github.com/langgenius/dify）

Dify是一个大型语言模型应用的低代码开发平台，集成了后端即服务（Backend as a Service）和 LLMOps 的概念，允许开发者快速构建生产级别的生成式 AI 应用，可作为企业级 LLM 网关进行集中管理。

1. 可视化工作流：

   通过拖放界面快速创建 AI 应用，降低了开发门槛，提高了开发效率，即使是非专业开发人员也能快速上手。

2. 模型广泛支持：

   支持数百种模型，包括 GPT、Mistral、Llama3 等，开发者可以根据项目需求灵活选择合适的模型。

3. 提示词 IDE：

   提供直观的界面用于创建提示词，比较模型性能，并利用文本到语音等附加功能增强应用，方便开发者优化提示词和评估模型效果。

4. 检索增强生成引擎：

   涵盖从文档提取到检索的所有环节，支持从各种文档格式中提取文本，为应用提供更丰富的知识来源。

5. AI 代理框架：

   使用 LLM 函数调用或 ReAct 来定义 AI 代理，并集成预构建或定制工具，增强了应用的智能性和灵活性。

6. 后端即服务：

   为所有功能提供相应的 API，易于集成到现有业务逻辑中，方便企业将 AI 应用与现有系统进行整合。

7. 云服务和自托管选项：

   提供零设置云服务，同时也支持在任何环境中快速设置，满足了不同企业的部署需求。



LangSmith、Langfuse和Dify是三款热门的LLMs Ops工具，它们分别提供了调试、测试、监控、分析以及低代码开发等功能，帮助开发者和运维团队更高效地管理和维护大型语言模型应用。随着人工智能技术的不断发展，这些工具将继续发挥重要作用，推动LLMs在各个领域的广泛应用和深入发展。在选择这些工具时，需要根据具体的应用场景和需求进行权衡和选择，以确保获得最佳的效果和效益。