我要投稿

一文学会基于LangChain开发大模型RAG知识问答应用

发布日期：2025-03-14 21:01:46 浏览次数： 1529 来源：观智能

RAG全称是Retrieval-Augmented Generation，即检索增强生成。通俗来讲,就是在用户提的问题的基础上，引入相关资料信息，把“问题+相关资料” 一起给大模型，让大模型在参考资料的约束或提示下回答问题而不是随意发挥，从而期望大模型生成质量更高、更准确的答案，改善大模型”幻觉“、训练数据过时、知识范围有限等带来的负面问题。

在涉及到专业领域知识或企业内部知识的应用场景中，这项技术发挥着重要作用。相比于大模型微调，RAG时间成本、经济成本和技术难度都更低。

本期内容涉及到以下知识点：

1.使用LangChain调用DeekSeek-v3模型服务

2.设计提示词模板，包括系统提示词和用户提示词

3.加载知识库，具体来说是本地或在线文档

4.将知识库中的文档分割成chunks，即多个片段

5.使用阿里云百炼的text-embedding-v2模型做文本嵌入，然后将这些向量保存到向量数据库中，供之后检索使用，即indexing

6.使用BAAI/bge-reranker-large模型自定义LangChain的ReRank类,用于提升知识库检索结果的质量

7.设计输出解析器，LangChain中的输入输出一般不是简单的字符串，比如大模型输出的是AIMessage对象，我们需要将结果格式化为目标形式

8.构建LCEL链，chain是LangChain框架的核心特点

9.给链传入回调函数，用于在链运行时获取状态信息或执行业务逻辑等

LangChain对各种功能进行了封装，所以上述的内容虽然很多，但实际代码量却比较少。

代码基于当前LangChain的最新版本v0.3

向观智能公众号发送文件码 7330 即可获取本文相关文件

Python库版本信息如下，使用pip默认安装最新版本即可：

本期内容采用递进的方式展开。

大模型调用

LangChain可以接入本地模型和云服务模型，模型来源有OpenAI、DeepSeek、Anthropic、Hugging Face等等，可调用的模型十分丰富。

比如可以在DeepSeek开放平台上获取我们的API Key，用它来请求DeepSeek-v3的推理服务：(link=>https://platform.deepseek.com/)

这里在自定义的函数env_settings()中设置了DeepSeek的API Key和服务地址两个环境变量，DeepSeek采用了和OpenAI相同的环境变量名称与调用方式：

提示词模板

在LangChain中提示词模板推荐用ChatPromptTemplate。from_messages从消息对象模板构造整个提示词模板，每个元组的第一个元素代表消息对象模板类，第二个元素是该消息的提示词模板：

如上面的system和user分别代表对应的SystemMessageTemplate和用户消息模板HumanMessageTemplate，用字符串比传入实例对象的代码要简洁。

下面看提示词的写法：

("system","你是一个信息整理归纳助手，在回答用户的问题时，你需要参考上下文信息，结合用户的问题以及上下文信息，你归纳出简练、准确的答案，简练是指不要加入与问题的答案无关的语言，准确是指答案要严格与上下文保持一致。请注意，如果上下文的内容为空，那么你就返回”在资料中没有相关信息“这句话，而不要自己生成答案。上下文的信息如下：{context}")

("user","{question}")

system即系统提示词部分主要用来提供上下文信息，其中的context是占位符，后面用从知识库中检索到的与question相近的内容填充，作为对用户问题的补充说明。

用户的问题将用来填充question占位符。

文档加载、分割与向量存储

这一部分是做信息的索引(indexing)

langchain_community.document_loaders中提供了各种文档加载器，如PDF、MarkDown、HTML、网络链接、txt等等。

任何类型的文档被加载后都成为Document对象，该对象的page_content字段保存文档内容，元信息字段保存文档的附加信息，比如位置。

加载得到的文档对象一般需要分割，原因有多种，比如文档太长模型无法处理、无法用向量表征语义等。

加载器推荐使用代码示例中的，chunk_size是指每块的最大字符长度；chunk_overlop是相邻块的重叠字符数，很简单，这样做是为了减少语义不完整的情况；separator是分割的依据：遇到双换行就分割，没有的话遇到换行就分割，以此类推。

分割后的文档变成了多个块，每个块依然是一个Document对象，其中page_content就是该块包含的内容，元信息则和它源自的那个文档保持一致，有的提高检索质量的算法会用到这个元信息。

接下来是做文本嵌入和词向量保存：

和大语言模型一样，LangChain也集成了OpenAI、Hugging Face等多种嵌入模型。这里用的是阿里云百炼的DashScopeEmbeddings接口，申请API Key即可调用(link=>https://bailian.console.aliyun.com/)

同样，LangChain集成了众多的向量数据库，如Chroma、Milvus、FAISS等。通过传入分割后的chunks列表以及嵌入模型对象，创建向量数据库。这里FAISS也支持将数据持久化到本地。

然后使用RunnableLambda类来包装向量数据库的相似度检索函数，将其变成Runnable对象，从而能够参与构建链。

ReRank重排

LangChain提供了丰富的解决方案来用于提高RAG中向量检索结果的质量，比如混合检索、多检索器检索、压缩上下文(ReRank也属于此种)等等。这里我们使用ReRank模型对向量检索的结果进行重排。

在Hugging Face上，北京智源人工智能研究院BAAI的bge-reranker-large是下载量最高的，中文语境效果很好。

我们将使用这个模型做ReRank。需要安装FlagEmbedding库，创建rerank对象(第一次运行自动从网络下载到默认缓存位置)：

在LangChain中ReRank也属于文本压缩器compressor中的一员。我们需要自定义一个LangChain的Compressor类，继承BaseDocumentCompressor并实现compress_document方法：

上述代码非常简单，similarity_compute函数调用了上述创建的开源rerank模型对象，来计算用户问题和上阶段检索出来的文本的相似度，然后在compress_document中叫仅仅是使用Python内建的sorted函数对检索出来的文本根据相似度得分从大到小排序，最终返回最相似的前两个。

然后把检索加重排的逻辑利用ContextualCompressRetriever整合起来，即将rerank对象和上面得到的向量检索器作为参数传入，该类在只是在内部依次调用它们做了向量检索和重排而已：

构建链

用户输入问题，然后检索得到相似上下文，此时问题和检索到上下文将被同时传入提示词模板来生成提示词，所以我们需要一个并行的组件RunnableParallel，以及一个将问题也变成Runnable对象的组件RunablePassthrough (Runnable对象才能用来构建链)，前者是可以同时运行两个Runable对象，后者是将信息包装成Runanble对象并原封不动的地输出 (ps:正如很多人吐槽的那样，LangChain大量的封装逻辑往往也会引起学习或使用者理解上的困难)