为了打造更开放健全的 LLM 应用生态，Dify 0.6.12 版本集成了 LLM 应用性能监测工具 LangSmith 和 Langfuse。通过简单的配置，用户可追踪应用生命周期中的数据和指标，轻松评估在 Dify 上创建的 LLM 应用质量、性能和成本。这一集成不仅加速了应用的上线，还支持持续优化，帮助您创建更加经济高效的 LLM 应用。

什么是 LLMOps？

尽管 LLM 拥有出色的推理和文本生成能力，但其内部运作机制仍然难以完全理解，这给基于 LLM 的应用开发带来了挑战。使用 Dify Workflow 编排的 LLM 应用通常涵盖多个节点，具有较高的复杂性，因此应用内部的运营监测成为其构建过程中的关键环节。Dify 秉持 LLMOps 理念，致力于帮助用户以透明、可追溯且可持续优化的方式构建 LLM 应用。在最新的集成中，Dify 利用 LangSmith 和 Langfuse，为用户提供全面的 LLMOps 支持，具体内容包括：

1. 选择合适的模型：Dify 支持所有主流 LLM，您可以根据具体需求选择最适合的模型来构建应用。

2. 创建有效的提示词：Dify 提供直观的提示词编辑界面，结合 LangSmith 和 Langfuse 等工具，可以更细致地追踪和分析提示词效果。

3. 监控性能：通过 LangSmith 和 Langfuse，全面监控在 Dify 上创建的 LLM 应用，包括追踪准确性、延迟和资源使用情况。

4. 持续改进：Dify 提供基础使用看板和标注功能，而 LangSmith 和 Langfuse 则提供更详细的监测指标。通过这些指标，结合人工标注 LLM 回复，您可以持续优化应用并提升用户体验。

5. 优化成本：Dify 提供基本资源用量统计，LangSmith 和 Langfuse 则补充了更详细的成本和 token 使用分析，帮助您合理优化资源配置。

为什么选择 LangSmith 和 Langfuse？

LangSmith 和 Langfuse 是两款先进的 LLM 应用性能监测工具，可以为 Dify 用户提供全面的 LLM 应用开发和优化支持。

LangChain 团队开发的 LangSmith 为 LLM 复杂应用提供了全面的追踪和深度评估功能，有助于团队在应用规模扩大时进行有效监控。LangSmith的主要评估功能包括:

• 对比测试和回归测试

• 利用 LLM 作为评判标准（即用 LLM 对输出进行打分）来进行微调，还包括现成（RAG）评估工具

• 为代码生成等特定任务定制的评估器

• 开源且可自行部署的架构，便于快速上手

• 功能齐全的 API 和数据导出功能，方便构建下游应用

• 不受框架限制的追踪和分析能力

• 自动化评估、自定义评估流程和人工标注工作流

特别值得一提的是，Langfuse 采用 MIT 开源许可，支持通过容器化方式自行部署。它不仅可以免费使用，还能通过单个容器实现部署，这对于有数据安全需求或倾向于在自有基础设施上运行的用户来说，是个极具吸引力的选择。

如何在 Dify 上使用 LangSmith 和 Langfuse？

在 Dify 中使用 LangSmith 和 Langfuse 十分方便。创建应用后，用户只需在概览页面一键配置，即可启用这些高效的 LLM 应用性能监测工具。

配置完成后，您在 Dify 上创建的应用使用数据将自动传输至这些平台。在 LangSmith 和 Langfuse 的项目管理界面中，您可以查看详细的性能指标、成本数据和使用情况，有针对性地优化应用。借助这些工具提供的数据信息，您可以在 Dify 平台上迅速调整和改进您的 LLM 应用。

写在最后