大模型应用开发平台Dify推出1.0版本，基于向量数据库Milvus实现RAG

用 Dify 和 Milvus 搭建 RAG 系统实战指南。

在生成式人工智能（GenAI）的应用领域，检索增强生成，即 RAG，是当之无愧的热门技术。

RAG 能够赋能企业充分挖掘大语言模型（LLM）的潜力，依托企业内部的知识库，如各类文档、报告和手册等，精准且高效地解答用户的各种问题。

不过，搭建 RAG 系统并非易事，颇具挑战性，相关技术知识储备是绕不开的 “门槛”。正因如此，很多技术爱好者和企业都在寻找更简便的搭建方法。

本文教你用开源平台 Dify 和向量数据库 Milvus 来构建 RAG 系统。Dify 作为编排平台，能快速启动系统；Milvus 则负责存储知识文档，为系统提供数据支持。

一、RAG基本原理剖析

RAG 主要是为解决大语言模型（LLM） “幻觉” 问题的技术。大语言模型基于特定截止日期前的海量数据训练，回答常见公开问题还行，但涉及内部文档信息就容易出错。而且它给出的错误答案极具迷惑性，不熟悉相关领域很难察觉。

RAG 的出现，就是为了解决这个难题。它会给大语言模型提供相关上下文，辅助其更准确地回答用户问题。

RAG 系统主要由检索、增强、生成这三大组件构成 ：

• 检索组件：按用户查询找前k个相关上下文，并依相似程度排序。
• 增强组件：将排序后的最相关上下文和原始问题整合，作为大语言模型输入。
• 生成组件：大语言模型据此生成答案。

搭建RAG系统前，要把原始数据转为嵌入形式用于相似性搜索，这需要嵌入模型；还得有向量数据库存储嵌入向量，以及大语言模型生成答案。

RAG系统运行前准备工作繁杂，若无整合工作流程的编排平台，搭建难度很大，这就是我们需要Dify的原因。

二、Dify：RAG 系统搭建的得力助手

开发生成式 AI 应用时，Dify 是个不可多得的强大工具。Dify 一词源于 “Define”（定义）和 “Modify”（修改），是开源平台，能帮开发者便捷构建各类生成式AI应用，无需纠结复杂组件设置。

这背后的原因在于，Dify 融合了后端即服务（Backend-as-a-Service）与大语言模型运营（LLMOps）的功能，可对包括 RAG 在内的热门生成式AI应用工作流程进行高效编排。

而且 Dify 采用低代码工作流程，极大降低了搭建 RAG 系统的难度，非技术专家也能轻松上手。另外，Dify 集成主流 LLM 方便，框架灵活，UI 和 API 易用，还配备高质量 RAG 引擎，为应用的性能提供有力保障。

下表说明了 Dify 如何简化复杂 GenAI 应用程序的开发流程：

在生成式人工智能应用开发中，自托管应用是重要考量因素，既能保障数据安全，又方便定制基础设施。

Dify 支持两种自托管方式：利用 Docker Compose 部署和通过本地代码源启动。相比之下，使用 Docker Compose 部署的操作更简单，上手难度更低。

下面就用 Docker Compose 部署 Dify。在这之前，先了解下另一个重要工具 ——Milvus。

三、Milvus：RAG 系统的 “数据基石”

搭建 RAG 应用时，除了 Dify 编排流程，向量数据库也很重要。向量数据库负责存储数据和搜索相关上下文，选对它对 RAG 系统性能影响重大。

Milvus 是开源向量数据库，特别适合 RAG 等生成式 AI 应用。它有不少高级功能，像先进的索引方法、方便与编排工具集成，还支持混合搜索。

Milvus 的索引方法丰富多样。追求精准匹配，可用 FLAT 索引；想要兼顾速度和效果，IVF_FLAT、HNSW、SCANN 等更先进的索引方法更合适。而且，在使用 IVF_FLAT 和 HNSW 索引时，还能通过乘积量化对数据进行处理，进一步压缩内存占用。

Milvus 兼容性强，能和嵌入模型、大语言模型、Dify 等编排平台轻松集成。下一节会详细介绍它们之间的集成步骤。

在相似性搜索时，Milvus 的混合搜索很实用，结合不同嵌入找相似上下文，还能元数据过滤优化，提升上下文质量，进而让大语言模型生成的内容更加优质。

四、使用Dify和Milvus构建RAG系统

进入实战，利用 Dify 搭建一个简易的 RAG 应用。通过这个应用，我们能查询特定研究论文里的相关信息。研究论文可自行选择，这里以引入 Transformer 架构的经典论文《Attention is All You Need》为例（https://arxiv.org/abs/1706.03762）。

此前提到，创建 RAG 应用，三个核心组件必不可少：向量存储、嵌入模型和大语言模型。

在本示例中，选用 Milvus 做向量存储，存论文文本片段。而嵌入模型和大语言模型，这里采用 OpenAI 的产品。

步骤1：启动Dify和Milvus容器

在本示例中，使用Docker Compose自托管Dify。因此，在开始之前，请确保本地机器上已安装Docker。

安装好Docker后，我们需要使用以下命令将Dify源代码克隆到本地机器上：

git clone <<https://github.com/langgenius/dify.git>>

接下来，进入刚刚克隆的源代码中的docker目录。在那里，使用以下命令复制.env文件：

cd dify/docker
cp .env.example .env

简而言之，.env文件包含使Dify应用启动并运行所需的配置，例如向量数据库的选择、访问向量数据库所需的凭据、Dify应用的地址等。

由于要使用Milvus作为向量数据库，因此需要将.env文件中VECTOR_STORE变量的值更改为milvus。此外，还需要将MILVUS_URI变量更改为http://host.docker.internal:19530，以确保部署后Docker容器之间不会出现通信问题。

VECTOR_STORE=milvus
MILVUS_URI=http://host.docker.internal:19530

现在准备启动Docker容器。为此，我们只需运行docker compose up -d命令。完成后，你会在终端中看到类似以下的输出：

docker compose up -d

我们可以使用docker compose ps命令检查所有容器的状态，查看它们是否正常运行。如果所有容器都正常运行，你会看到如下输出：

docker compose ps

最后，如果访问http://localhost/install，你会看到Dify的登录页面，在这里我们可以注册并立即开始构建RAG应用。

注册完成后，你就可以使用凭据登录Dify了。

步骤2：设置OpenAI API密钥

注册Dify后，首先要做的是设置用于调用嵌入模型和大语言模型的API密钥。由于我们使用OpenAI的模型，因此需要将OpenAI API密钥插入到个人资料中。为此，请把鼠标悬停在用户界面右上角的个人资料上，然后点击“Settings”（设置），如下截图所示：

接下来，进入“Model Provider”（模型提供商），将鼠标悬停在OpenAI上，然后点击“Setup”（设置）。你会看到一个弹出窗口，提示你输入OpenAI API密钥。完成后，就可以使用OpenAI的模型作为嵌入模型和大语言模型了。

步骤3：向知识库插入文档

现在为 RAG 应用搭建知识库，知识库由一系列内部文档或文本构成，辅助大语言模型精准回复。

此例中，知识库是《Attention is All You Need》论文。但不能直接存储，原因有两点：一是论文太长，给大语言模型提供长上下文效果不佳；二是原始文本无法用于相似性搜索，难以获取最相关上下文。

所以，存储论文到知识库前，至少要完成两步操作：先把论文切分成文本片段，再借助嵌入模型将每个片段转化为嵌入向量，最后把这些嵌入向量存入 Milvus 向量数据库。

Dify 简化了这一过程，只需简单几步，就能把论文文本分割成片段并转化为嵌入向量：进入 “Knowledge” （知识）板块，点击 “Create Knowledge”（创建知识），系统会提示从本地计算机上传 PDF 文件，所以要提前从 arXiv 下载论文并保存到电脑。

上传后设置各项参数：

• 片段设置：在“Chunk Setting”设最大片段长度，示例设为100 。
• 索引方法：“Index Method”选“High Quality”，用于相似性搜索。
• 嵌入模型：“Embedding Model”从OpenAI模型选，此例用text - embedding - 3 - small 。
• 检索设置：“Retrieval Setting”选“Vector Search”，便于搜相关上下文。

设置完点“Save & Process”（保存并处理），成功会出现绿色对勾 。

步骤4：创建RAG应用

此前，已成功创建知识库并存储至Milvus数据库，现在可以着手创建RAG应用了。

借助Dify创建RAG应用十分简便：

• 进入“Studio”（工作室）板块，而非之前的“Knowledge”（知识）板块，点击“Create from Blank”（从空白创建）。
• 选择“Chatbot”（聊天机器人）作为应用类型，并在指定字段为应用命名，完成后点击“Create”（创建），随即会出现如下页面。

在“Instruction”（指令）字段，编写系统提示，如“简洁回答用户查询”。在“Context”（上下文）部分，点击“Add”（添加）图标，添加刚创建的知识库。如此，RAG应用便能从该知识库获取相关上下文，用以回答用户问题 。

将知识库添加进RAG应用后，最后一步是从OpenAI挑选大语言模型（LLM），点击右上角的模型列表即可操作，如下图所示。

完成上述步骤，RAG应用就能发布了。点击右上角的“Publish”（发布），有多种发布方式可选：可直接在浏览器运行，可嵌入网站，还能通过API访问。本示例选择在浏览器中直接运行，点击“Run App”（运行应用）即可。

至此，大功告成！现在你能就《Attention is All You Need》论文或知识库中的其他文档，向大语言模型提问了 。