我要投稿

AI领域的新突破：混合RAG系统提升复杂推理能力

发布日期：2024-10-21 19:47:49 浏览次数： 2461

作者：老朱读AI

微信搜一搜，关注“老朱读AI”

致敬不凡，致敬平凡

|原标题：A Hybrid RAG System with Comprehensive Enhancement on Complex Reasoning

| 链接：https://arxiv.org/pdf/2408.05141

| 日期：2 Sep 2024

核心概述

这本主要介绍了一种增强的混合检索增强生成（RAG）系统，通过改进网页中的文本块和表格、添加属性预测器以减少幻觉现象、进行LLM知识提取器和知识图谱提取器工作，并构建了一个包含所有引用的推理策略，这一系列优化，显著提高了检索质量、增强了推理能力，并细化了数值计算能力。

研究背景

背景介绍: 这篇文章的研究背景是检索增强生成（RAG）框架，该框架通过整合外部知识库来增强大型语言模型（LLMs）的准确性和减少幻觉现象。
研究内容: 包括改进网页文本块和表格的处理，添加属性预测器以减少幻觉，进行LLM知识提取器和知识图提取器，并最终构建一个包含所有引用的推理策略。
相关工作: 形式验证、高效的训练方法等，但这些方法大多针对特定问题场景，不适合直接应用于CRAG任务。本文在前人研究的基础上，提出了一个集成多种策略的新颖设计。

研究过程及方法剖析

系统中有6个关键模块，包括（1）网页处理，（2）属性预测器，（3）数值计算器，（4）大语言模型知识提取器，（5）知识图谱模块， (6)推理模块。我们通过这些模块增强了系统在信息提取、减少幻觉、数值计算精度、高阶推理等方面的能力。此外，我们还对极端情况进行了特殊处理。

网页处理：使用Trafilatura和BeautifulSoup提取网页上的文本块和表格，并使用Blingfire将文本分句。文本块根据启发式规则进行分组，表格转换为Markdown格式。
属性预测器：开发了属性预测器，评估每个问题的类型和事实变化率，以优化所有问题类型的性能。使用了上下文学习和支持向量机（SVM）两种方法进行分类。
数值计算器：通过提示技术鼓励大型语言模型生成有效的Python表达式，并将实际数值计算任务委托给外部Python解释器。
LLM知识提取器：开发了LLM知识提取器，利用大型语言模型的知识丰富的响应作为参考材料，增强推理能力。
知识图谱模块：使用手动规则从查询中提取实体，并生成查询。由于时间和资源限制，最终版本回归到基线方法。
推理模块：设计了提示模板，让LLM从所有参考材料中进行推理，得到最终答案。控制了推理路径和输出格式，并处理了许多角落案例。

【处理极端情况】

除了上面提到的主要模块之外，我们还处理了很多极端情况，包括（1）识别无效问题；（2）鼓励模型对不确定的答案回答“我不知道”，以减少幻觉；(3)对不符合指令格式的输出进行处理。 接下来，我将介绍我们处理这些极端情况的设计。

无效问题。有些问题的前提是错误的，这意味着查询与事实相矛盾。对于这些问题，模型应该输出“无效问题”。为了识别此类问题，模型需要仔细分析所提供的参考文献。我们在附录C.5所示的推理提示中添加特殊规则
减少幻觉。我们采用两种方法来减轻幻觉：属性预测和推理。我们发现，时变问题（被属性预测器标记为动态)对于我们的系统来说很难，我们没有足够的时间和资源来改进它们。所以我们手动让系统对这些问题回答“我不知道”。此外，我们在推理模块中添加了一些规则和提示工程技术，让模型在不确定时回答“我不知道”。最终，我们将系统配置为专门输出“我不知道”，并且在初始响应中包含“我不知道”时避免添加任何其他单词。
格式不正确。由于我们没有对推理输出进行约束采样，因此模型有可能输出无法解析的答案。为了处理这种情况，我们设计了一个备份摘要代理，在解析失败时根据推理模块的输出准确、简洁地总结最终答案。

不足与建议