通用人工智能（GenAI）应用的开发领域正以惊人的速度不断演进。我们正在经历从简单的提示工程（Prompt Engineering）到构建复杂人工智能系统开发与构建的显著转变。这些系统涵盖了包括检索、预处理、后处理、防护措施、代码解释、大型语言模型（LLM）路由、模型集成、混合编排（静态和动态）中的内存管理等复杂流程，如检索增强生成（RAG）和人工智能代理（AI Agent）等技术日益普及。

这种复杂性和先进性虽然赋予了 AI 应用开发者强大的能力，但也带来了挑战。在开发阶段，开发者需要理解复杂程序执行过程中的每个步骤，以获得观测、调试、评估和改进他们的 GenAI 应用的洞察力。其后，随着越来越多的 GenAI 应用从概念验证阶段过渡到生产环境，部署后的可观测性变得至关重要，让开发者监控 GenAI 应用上线后的行为，性能，用户反馈和响应，以洞察和调试边缘案例，加速应用的迭代优化。

正如本篇博客所强调的，GenAI 应用开发的生命周期并没有改变，但由于涉及的系统复杂性，挑战却在日益增加。下图作为一个视觉指南，帮助我们在流程中发现复杂性，强调出成功开发 GenAI 应用所需的系统方法。

在已经 GA 的 Azure AI Studio 国际版上，我们提供更强大的基于云的跟踪，这是一个构建 GenAI 应用程序的一站式平台，为企业级开发团队提供本地到云端的团队协作、持久存储，云服务资源调用，基于 UI 界面的交互式管理和可视化的开发体验。

Multi-agents 是 LLM 应用的常见的场景，它是更先进的应用框架，例如构造一个由 LLMs、tool 和 human 支持的可对话代理，实现通过多角色之间的自动化，交互式聊天，来共同执行一个任务。在这种对角色自动对话场景下，Trace 视图将帮助你监控多角色对话的流程，观测每个角色以及 LLM 之间自动调用的交互过程。请参考这个例子  Tracing with AutoGen 来开始你的 multi-agent 场景的 trace！

Evaluation 是 prompt flow 的核心价值，先前我们已支持用户 evaluate 其构建出来的 prompt flow。现如今，我们的 prompt flow SDK 引入了 Flex flow 这一个新功能，为 prompt flow 增强了对任意 GenAI 应用来做 evaluation 的适应性和可扩展性。它使你能够将您自己的应用代码快速集成到 prompt flow 中，进行全面的 Batch test 和 evaluation。

随着 Flex Flow 和 Trace 功能的引入，你现在将你的应用 Flex Flow，基于这个万能的 flex flow 在本地执行 evaluation run，在结果中观测每一行的trace。我们支持三种运行与观测模式： 

1.  本地 run，结果存储本地，本地查看结果

2.  本地 run，结果存储本地+云端，云端查看结果 

3.  云端 run，结果存储云端，云端查看结果

基于模式2，用户可以将本地执行的结果直接发送到云端 AI Studio 进行持久化存储，以保证你的测试数据的云端共享和长期存储。此外，基于模式3，用户还可以选择在云计算中运行 evaluation，这将在云端记录运行及其结果，便于用户使用云端资源，包括算力和数据。

启用 Trace 功能后，调试 evaluation 实验结果中的error case 变得更为容易，用户可以深入其 trace 视图进行详细观测和检查。

新的 Trace 能力将默认应用到所有 prompt flow 的 flow 开发过程，从 authoring，到 batch run 和 evaluation，再到 deploy，为 flow 的开发者提供了更优的可观测性和可调试性。此外，flow authoring 阶段所有历史测试记录都会持久存储在一个列表中，有助于你日后追踪，调试和数据复用。

GenAI 应用在经历严格测试后，待其质量和性能得到保证后，用户可以顺利地将其部署到 Azure AI Studio 国际版中作为一个在线 endpoint。Azure AI Studio 国际版为用户提供了一个安全可扩展的环境来运行 GenAI 应用，并提供了各种功能来增强您的部署体验，包括与 Azure Application Insight 集成，进行全面的部署后监控。

在部署后的阶段，我们支持将你得应用请求数据，日志信息汇聚在 application insight 中进行监控，这里同样可以包括 trace 数据。开发者通常在后台日志中，希望深入了解应用在线上的性能情况，以进一步优化，而此时，每个请求的 trace 数据、聚合metrics 和用户反馈数据变得至关重要。

Prompt flow SDK 提供了一个新的 /feedback API，帮助客户从在线服务阶段收集反馈。启用 Application Insight 后，反馈数据将保存到客户配置的追踪导出目标中。

除了 Trace，我们同样对云端开发做了加速优化。我们在 Azure AI Studio 国际版发布了 prompt flow 的一些其他功能，以加速 GenAI 应用的开发：

新的compute session允许您在几秒钟内设置云计算资源，快速进行flow的创作和测试。

为提高批量运行的可扩展性，我们实施了两项改进。首先，我们取消了1000条数据记录的限制，允许 batch runs 在10小时内处理更大的数据集。其次，我们引入了从上次运行中断的地方恢复的能力（resume），可以使用 "pf run create –resume-from"  命令完成。

为了在线服务的加速，prompt flow 目前也支持了 fastapi，这是一个现代且快速的 Web 框架，以高性能和可靠性提供您的 GenAI 应用。