近年来，低代码和模块化开发在 AI 领域变得越来越流行。这一趋势旨在让更多人能够参与 AI 开发，而不仅仅是有经验的程序员。Dify 就是这一趋势的最佳案例。它是一款开源的大语言模型(LLM) 应用开发平台。这一名字由Define和Modify两个词组合而成，寓意着用户可以自己定义并不断改进创建的AI应用。

Dify融合了后端即服务（Backend as Service）和 LLMOps的理念，提供了一个更加接近生产环境、开箱即用的完整解决方案，包括对数百个模型的支持、直观的提示词编排界面、高质量的检索增强生成（RAG）引擎以及Agent框架，同时提供了一组易于使用的界面和API，使开发者可以快速构建生产级的生成式 AI 应用，其精心工程设计和软件测试的脚手架系统，让一些非技术人员也可以参与AI应用的定义和数据操作。

在Dify创建应用有 3 种不同的应用类型，分别是聊天助手、Agent 和工作流。

• 聊天助手：基于 LLM 构建对话式交互的助手。例如：翻译助手等。

• Agent：用户可以使用LLM函数调用或ReAct定义AI Agent，并集成与构建或自定义工具。Dify为AI Agent 提供了50多种内置工具，包括Google搜索,Stable Diffusion等。

• 工作流：提供可视化的画布来构建和测试强大的AI工作流。此功能使用户能够利用Dify的全部功能，包括模型集成和提示词设计。

Dify 在数据安全、模型灵活性和简化技术访问等方面的创新方法使其成为市场上的颠覆者。它的关键优势包括：

• 灵活的架构设计：Dify 以其创新的架构设计脱颖而出。其 Beehive 架构旨在增强灵活性和可扩展性，使开发人员更容易集成各种模型并简化开发流程。

• 集成性：它无缝集成了诸如 OpenAI 的 GPT 系列等流行的 AI 模型。此外，通过与API和代码增强的轻松集成，促进了灵活性和可扩展性。

• 支持模型中立性：Dify 允许用户在没有任何限制的情况下探索不同的语言模型，不受特定模型或框架的约束。通过支持包括 OpenAI、Hugging Face 和 LocalAI 在内的专有和开源选项，Dify 提供了无与伦比的灵活性。

• 可视化应用构建：Dify 通过其名为 GPT-4 可视化应用构建的功能，通过一个直观的拖拽界面使开发人员能够创建 AI 驱动的应用程序，即使是没有丰富技术经验的人也能轻松上手。

• 自托管选项：Dify 主要专注于自托管，提供了 GitHub 上的开源社区版。这使得用户能够完全控制他们的部署并确保数据隐私。

BrillAI是由Xinference驱动的Serverless推理引擎。通过无服务器端点访问领先的开源模型。不仅支持大语言模型，还包括各种顶级开源模型，涵盖了聊天、多模态、图像、嵌入式、重新排序、音频和视频等多个领域。支持用户自由切换符合不同应用场景的模型。

平台设计简单易用，只需几行代码即可快速启动，无论是新手还是有经验的开发者，都能轻松上手。而随着用户的应用程序规模的增长，会自动增加容量以满足用户的API请求量。确保用户始终以最佳状态运行，无需担心性能问题或额外的配置成本。

创建BrillAI是因为看到最先进的AI结果越来越多地是通过具有多个组件的复合系统而不是单一模型获得。在当下，单一模型的部署远远不足以满足用户多领域、多模态的需求。因此，BrillAI旨在解决复合AI（Compund AI）系统中的挑战。BrillAI 的实验中心（Lab）集成了对话、图像、声音、Embedding等多种模态和模型，以提供给用户丰富的互动体验。

BrillAI 的推理接口与社区版 Xinference 兼容，所以可以直接使用和 Xinference 相同的方式与 Dify 集成，目前共有 5 种类型的模型可以添加到 Dify，分别是 LLM, Text Embedding, Rerank, Speech2text 以及 TTS

在 Model Provider 处分别添加 5 种类型的模型后，点击右上角的 System Model Settings，将所有系统模型都设置为 BrillAI 提供的模型，这样 Dify 在必要时就会自动选择或使用响应的模型。

想要使用 Embedding 以及 Rerank 模型，我们需要在 Knowledge 页面创建一个新的 Knowledge

此处可以上传需要让大语言模型知道的上下文信息，这里我上传了 prompt.txt 文件，内部包含了画图使用的提示词，上传完成后点击 Next

在这个页面就可以选择我们的 embedding 和 rerank 模型，用于处理上传的知识库，点击 Save & Progress 即可开始

等到状态变成 Available，我们就可以在应用中使用相应的知识库，在稍后的演示中将会使用此知识库

图片相关模型需要在工具中单独配置，在 Tools 页面中搜索 Xinference，找到相应的工具，点击 To Authorize

在弹出的窗口中填入 BrillAI 相关的配置信息，点击 Save，验证无误后即可使用此工具

以上步骤已经完成了创建 APP 前的所有准备工作，接下来就可以在 Studio 页面创建应用了，我们需要在这个页面创建一个空的 Agent 应用，并在此应用中完全使用 BrillAI 提供的模型能力

应用创建成功后，点击 Context 旁边的 Add 按钮，在弹出窗口中添加我们刚刚创建的知识库

然后点击 Tools 旁边的 Add，找到 Xinference 下的 Stable Diffusion，这就是我们刚刚添加的用于画图的 stable diffusion 模型

成功添加后，我们还可以点击工具旁边的感叹号，进一步配置 stable diffusion 模型的参数

最后是语音模型的配置，点击页面底部的 ADD FEATURE，在弹出窗口中打开 Text to Speech 和 Speech to Text 的开关，这两个功能会自动使用我们之前配置的系统模型

完成以上所有步骤后，就可以和模型开始对话了，开启 Speech to Text 会在输入框的右侧出现一个 麦克风图标，点击即可语音输入并自动通过语音模型转换成文本

以下对话展示了通过知识库获取信息，并通过 stable_diffusion 工具画图的全部过程，另外，点击消息右上角的播放按钮，可以通过 TTS 模型朗读消息内容

以上过程完整的演示了通过 embedding 和 rerank 模型创建知识库，通过 LLM 模型进行对话，通过语音模型识别音频以及朗读文字，通过 Image 模型画图，涵盖了 BrillAI 目前提供的所有类型的模型。