我要投稿

Golden-Retriever：提升工业知识库检索准确性

发布日期：2024-09-18 21:18:19 浏览次数： 1556

今天分享的是一篇面向工业知识库的RAG文章: Golden-Retriever: High-Fidelity Agentic Retrieval Augmented Generation for Industrial Knowledge Base，用于工业知识库的高保真代理式检索增强生成。

论文链接: https://arxiv.org/pdf/2408.00798

背景

随着大规模语言模型（LLMs）的普及，它们在知识库查询中的应用越来越广泛。然而，现有的RAG（Retrieval-Augmented Generation）技术在处理工业知识库中的领域特定查询时，常常表现不足。一个主要挑战是模型对领域特定术语（如技术缩写和术语）的误解和"幻觉"问题。例如，"PUC"在不同上下文中可能有不同的含义，错误的解释会导致不相关或错误的文档检索。此外，现有的解决方案如Corrective-RAG 和 Self-RAG，虽然能在检索之后修正响应，但如果初始检索因误解术语或上下文缺乏而存在缺陷，则无法完全解决根本问题。因此，现有方法在处理模糊或领域特定的问题时存在局限性。

为了解决这些挑战，这篇文章提出了Golden-Retriever，它在文档检索前增加了反思式问题增强模块，先识别术语，再结合上下文进行解释，确保问题得到有效扩展，从而提升检索的准确性。

下面是对这三种方式的流程说明：

方法

Golden-Retriever由离线（offline）和在线（online）两部分组成。离线部分是知识库聊天机器人部署前的数据预处理步骤。在线部分是每次用户提问时的交互过程。下面将详细介绍每个阶段。

1. 离线部分：文档增强

Golden-Retriever通过OCR技术从原始文档中提取文本，将其分割成适合处理的块（如每块约4000个Token），并使用LLM生成域专家视角的摘要。这些经过增强的文档被添加到数据库中，以提高检索时的相关性。

以下是文档增强部分的流程图：

2. 在线部分：交互流程

每当用户提出问题时，系统会按照以下步骤进行处理：

识别术语(Identify Jargons)：首先，系统会识别问题中的术语和缩写，这一任务由 LLM 处理，因为传统的字符串匹配方法难以应对术语的拼写错误或未包含在词典中的新术语。识别出的术语将以结构化的格式保存，以便在后续的处理流程中使用。
识别上下文(Identify Jargons)：由于术语的意义在不同上下文中可能不同，Golden-Retriever接着识别问题的上下文。例如，"RAG"在不同领域有不同的含义（如LLM领域中的“检索增强生成”与遗传学中的“重组激活基因”）。通过设计包含预定义上下文名称及描述的提示模板，LLM能够识别出问题所处的语境。通过这种方式，Golden-Retriever在检索文档之前准确澄清了术语的上下文，确保检索更为精准。
查询术语(Query Jargons)：一旦术语和上下文被识别出来，系统会查询术语词典以获取扩展定义、详细描述及相关备注。查询的SQL代码通过安全可靠的代码生成，而非使用LLM生成，以确保查询的质量和安全性。
增强问题(Augment Question)：通过将术语定义和上下文信息与原始问题整合，系统生成增强后的问题。这一过程确保RAG在检索时能够准确理解问题的背景和术语，从而提升检索文档的相关性。
查询未命中响应(Query Miss Response)：如果系统无法找到某些术语的相关信息，Golden-Retriever会生成一个响应，提示用户检查术语拼写或联系知识库管理员添加新术语。这样可以避免误导性回答，并保持系统的高准确性。

以下是离线推理部分的工作流程图：

实验

文章进行了两个实验来评估方法的有效性：第一个实验测试了基于文档回答领域特定问题的能力，结果显示Golden-Retriever在所有LLM上显著提升了问答准确性。与Vanilla LLM和RAG相比，Gold-retriever将Meta-Llama-3-70B的总分分别提高了79.2%和40.7%。在所有三个LLM测试中，gold-retriever比Vanilla LLM平均提高57.3%，比RAG平均提高35.0%。；第二个实验测试了LLM识别未知缩写的能力，结果表明Golden-Retriever系统中的LLM能够高效识别问题中的缩写，这对提升解答准确性起到了关键作用。

问答实验结果：

缩写识别实验结果：

总结

Golden-Retriever通过术语和上下文识别，以及问题增强机制，在检索之前消除了模糊性和误解。它不仅提高了RAG的文档检索准确性，而且有效应对了术语歧义和领域特定知识的挑战。通过离线和在线两部分的协作，Golden-Retriever在真实工业环境中的知识库应用中提供了一个更为可靠的解决方案

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

微软开源的GraphRAG解读

2024-07-09

RAG框架，都在这了!

2024-06-20

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

源码解读 - 微软GraphRAG框架

2024-07-14

大家都在问

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

2024-09-16

使用千帆完全免费的大模型，去构建Graph RAG，效果如何？

2024-09-12

RAG领域出现技术创新，或将引领AI搜索重大变革？

2024-09-11

大模型分不清 9.9 与 9.11 谁大，那 Embedding 模型呢？

2024-09-10

一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？

2024-09-09

最近爆火的GraphRAG是什么，真的能用于商业应用吗？

2024-09-07

你的工作流程被 AI 颠覆了吗？

2024-09-04

AI应用中基于语音驱动的RAG如何做？

2024-08-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

背景

方法