我要投稿

【RAG进阶实践】引入Rerank技术，让RAG效果更上一层楼

发布日期：2024-04-10 09:08:40 浏览次数： 2887 来源：玄姐聊AGI

RAG 检索增强生成技术这篇《一文搞懂 RAG 检索增强生成》做了详细介绍，一个典型的 RAG 案例如下图所示，包含3个步骤：

索引：将文档库分割成较短的 Chunk，并通过 Embedding 编码器构建向量索引。
检索：根据 Prompt 问题和 Chunks 的相似度检索相关文档片段。
生成：以检索到的上下文为增强条件，最终生成 Prompt 问题的回答。

今天我们聊聊引入 Rerank 技术如何进一步增强 RAG 应用落地的效果。

—1—

Rerank + RAG 增强落地

Rerank 是一种重排序技术，通过引入 Rerank，可以在不牺牲准确性的情况下加速大模型的查询（实际上可能提高准确率），Rerank 通过从上下文中删除不相关的节点，重新排序相关节点来实现这一点，如下图所示：

下面详细剖析下 Rerank + RAG 技术，有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大语言模型在实际应用中变得更加实用和可信。

第一、 Rerank 模型技术及选型

与 Embedding 模型不同，Rerank 使用问题和文档作为输入，直接输出相似度而不是 Embedding 向量。通过向 Rerank 模块输入查询和段落来获得相关性分数。Rerank 往往基于交叉熵损失进行优化的，因此相关性得分不受特定范围的限制。bge-reranker-v2-m3 适用于中英文双语 Rerank 场景。

Rerank 的工作（如下图）就像是一个智能的筛选器，当 RAG 从文档集合中检索到多个文档时，这些文档可能与你的问题相关度各不相同。有些文档可能非常贴切，而有些则可能只是稍微相关或者甚至是不相关的。这时，Rerank 的任务就是评估这些文档的相关性，然后对它们进行重新排序。它会把那些最有可能提供准确、相关回答的文档排在前面。这样，当大模型开始生成回答时，它会优先考虑这些排名靠前的、更加相关的文档，从而提高生成回答的准确性和质量。通俗来说，Rerank 就像是在图书馆里帮你从一堆书中挑出最相关的那几本，让你在寻找答案时更加高效和精准。

第二、RAG 框架：LlamaIndex

LlamaIndex 是一个基于大语言模型应用的数据框架，用于增强大语言模型的能力。这种基于大语言模型的应用被称为 RAG 应用，对标微调（Fine-tuning）技术。LlamaIndex 提供了必要的抽象，可以更轻松地获取、索引、存储和访问私有或特定领域的企业级数据，以便将这些数据安全可靠地注入大语言模型中，以实现更准确的知识生成。

第三、LLM 大语言模型选型

在做知识增强时，根据不同的任务，需要的大语言模型的能力是不同的，比如：分类任务选用 3B 参数量，翻译任务选用 7B 参数量，意图识别选用 13B 参数量，Action 函数调用（Function Calling）选用 70B 参数量。

在以上实践原则下，对于闭源大模型可以考虑：OpenAI ChatGPT 系列和百度文心一言系列。对于开源大模型可以考虑：阿里 Qwen 1.5、智谱 ChatGLM3、百川3、Llama 2 以及 xAI 最新推出的参数量为 314B 的Grok 1.5和 Databricks 开源的 132B 参数量的 DBRX。

第四、RAG + Rerank 环境配置与安装

Python 3.10 及以上版本
Pytorch 1.12 及以上版本，推荐 2.0 及以上版本
建议使用 CUDA 11.4及以上
详细配置参考这里：https://github.com/modelscope/modelscope-classroom/blob/main/LLM-tutorial/RAG%2BRerank%2BLlamaindex.ipynb

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

一文带你了解大模型——智能体（Agent）

2024-05-28

更改ollama模型存储路径

2024-04-25

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

大家都在问

如何从头建立一个通用AI智能体应用？

2024-12-22

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

o3比o1强在哪里？

2024-12-21

OpenAI 铺垫了12天发布的 o3 到底咋样？

2024-12-21

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

2024-12-21

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

Nvidia 的 CUDA 护城河到底有多深？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示