我要投稿

优化RAG系统的四种工程化手段

发布日期：2024-10-22 12:54:54 浏览次数： 1533 来源：沙丘社区

检索增强生成（RAG）是一种人工智能框架，旨在利用大语言模型（LLM）进行跨外部知识源的自然语言查询。RAG的核心思想是通过外挂知识库的方式给大模型提供更可靠的知识来抑制模型产生幻觉，通过定期迭代知识库的方式就能解决大模型知识更新慢和训练成本高的问题。

在实践RAG的过程中，企业会发现RAG走通很容易，但实际落地生产的难度非常大。

RAG链路可拆分为三个部分：数据准备、知识检索和答案生成。为了使RAG能够应用于更加复杂、更具价值的场景，企业需要创建一个完整的RAG系统架构链路，以便能够通过工程化的技术手段对链路上的不同部分进行实验和优化。

优化手段1：数据准备环节，选择适合场景的分块和嵌入策略

根据应用场景复杂度的不同，应选择不同的分块策略。分块策略是指将数据分割成更小的部分，以便模型能够更加有效地处理。数据处理流程中应提前内置多种分块策略，以便在需要时进行切换。分块策略主要包括根据文档的自然部分（如章节、段落）进行分割、按固定长度进行切割、根据文本的语义相关性进行分割等。

分块策略需要与embedding模型相对应，确保能够正确捕捉每个分块的表征。

分块和嵌入策略的选择很大程度上取决于应用场景。企业在实践中可以尝试不同的分块和嵌入策略组合，从而找到适合应用场景的最佳方法。

优化手段2：知识检索环节，实施混合检索策略

基于向量的检索旨在从用户查询中提取与语义相关的上下文。但与基于关键词的检索相比，基于向量的检索需要更多的计算资源，与基于图的检索相比，基于向量的检索很难识别错综复杂的关系，也缺乏可解释性。

混合检索策略可以大大提高检索质量。混合检索策略结合了不同的检索算法，如基于向量、关键词、语义或结构化算法，通过使用多种检索算法，混合检索策略可以更全面地理解查询的意图和上下文，从而提高检索到信息的相关性和准确性。

混合检索还可以将不同类型的数据合并到一个查询中，从而大大提高检索效率并降低计算成本。从问题到查询再到答案的完整响应流程可以清楚地看到每个阶段的输出和决策过程，使得系统调试变得更加容易。每个阶段的输出结果还可用于提供和存储检索源信息，并在最终答案中呈现，提高答案的可信度。

优化手段3：答案生成环节，利用摘要和提示工程技术

为了使大模型更好的输出答案，企业可以从以下方面进行优化：

第一，在将来自检索引擎的数据块输入给大语言模型之前，应将其压缩成更易于管理和相关的格式。通过上下文过滤，删除检索结果中的无关信息；

第二，对检索到的知识进行摘要，减少需要处理的token数量，有助于模型专注于最相关的信息，并且如果使用的是专有模型，还可以降低总成本；

第三，通过提示工程引导大语言模型，确保模型在生成答案时，既利用了检索到的信息，也利用了模型内部的知识。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

RAG框架，都在这了!

2024-06-20

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

语义分块真的有效吗？

2024-10-21

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

2024-10-21

RAG工程如何评测？

2024-10-15

长上下文 LLMs 兴起，RAG 会成为历史吗？

2024-10-15

检索生成(RAG) vs 长文本大模型：实际应用中如何选择？

2024-10-12

如何利用大模型+RAG构建知识问答助手？

2024-10-09

大模型RAG不存在了么？

2024-09-30

检索增强生成 (RAG) 是否会被长上下文 LLMs 杀死？

2024-09-26

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

微软开源的GraphRAG解读

深入解析 Graph RAG：提升语言模型问答能力的创新策略

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

RAG框架，都在这了!

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

大家都在问

语义分块真的有效吗？

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

RAG工程如何评测？

长上下文 LLMs 兴起，RAG 会成为历史吗？

检索生成(RAG) vs 长文本大模型：实际应用中如何选择？

如何利用大模型+RAG构建知识问答助手？

大模型RAG不存在了么？

检索增强生成 (RAG) 是否会被长上下文 LLMs 杀死？

热门标签