前言

往期文章介绍了《【RAG】混合RAG系统，提升复杂推理任务表现》，本文再来看看KDD CUP2024的CRAG的第三名方案，该方案提出WeKnow-RAG方法，结合了知识图谱和基于Web的RAG技术，通过多阶段检索、自评估机制以及智能平衡框架，提高了信息检索的精度和生成答案的可靠性。

一、方法

1.1 基于Web的RAG

1. 网页内容解析：主要试用版BeautifulSoup库解析原始HTML源代码，提取网页内容。将非结构化数据转换为结构化数据，以便回答问题。

2. 分块: 选择token-level分块策略，通过实验确定最佳分块大小。将文档分成多个段落，以提高问答系统的性能。

3. 多阶段检索

   通过多个阶段，高效地从数据源中检索相关文档，以获得准确的答案并减少幻觉。

• 第一阶段：使用稀疏检索（BM25）从网页结果块和片段块中收集候选段落。
• 第二阶段：结合稀疏检索和密集检索（嵌入相似性），使用混合搜索方法。稀疏检索基于关键词选择候选文档，密集检索基于语义相似性选择候选文档。（密集检索使用的模型：bge-large-en-v1.5作为密集检索模型，bge-reranker-large作为重排模型）

• 带有自评估的答案生成：LLMs生成答案时指示信心水平（高、中、低），只有当信心水平达到指定要求时才接受答案。减少LLMs生成内容中的幻觉，提高答案质量。提示词如下（输出结果为JSON格式，包含答案和信心水平）：

  

1.2 知识图谱

1. 领域分类：将问题分类到特定领域，通过LLMs初始调用将问题分类到电影、体育、金融和音乐领域，对于不确定性低于90%的问题，分类为开放领域。

2. 查询生成：根据不同领域的提示，LLMs返回结构化分析结果，并将其转换为与KG API兼容的结构化查询。以便从知识图谱中检索相关信息。提示词如下：

   

3. 答案检索和后处理

• 答案检索：通过API在KG上进行结构化查询。查询是通过将问题分解为一系列子问题或子功能来生成的。通过API调用，从KG中检索出一组候选答案。

• 后处理：应用规则系统，结合机器学习技术，处理时间推理、数值计算和逻辑推理。

  具体步骤：

  1）问题分解：将复杂问题分解为一系列子问题或子功能。

  2）API调用：根据子问题生成相应的API调用，查询KG。

  3）候选答案集：从KG中检索出一组候选答案。

  4）额外推理：对候选答案进行额外推理，处理时间、数值和逻辑推理问题。

  5）答案选择：根据推理结果选择最终答案。

1.3 集成方法

WeKnow-RAG方法的综合方法旨在根据每个领域的特点，智能平衡KG和基于Web的RAG方法的使用。这种方法能够适应不同领域信息变化的速度，确保在动态信息环境中达到最佳性能。主要方法如下：

1.3.1 领域分类和时间分布

• 领域分类：通过LLMs初始调用将问题分类到特定领域（如电影、体育、金融、音乐）或开放领域。
• 时间分布：分析每个领域的关键“静态或动态”特性，将其分类为“静态”、“慢变”、“快变”和“实时”。

1.3.2 自适应框架

• 稳定领域：对于信息变化速度最小的稳定领域（如百科全书开放领域），优先使用KG工作流程，不激活整个基于Web的RAG工作流程。
• 慢变领域：对于信息逐渐变化的领域（如音乐和电影），保持KG优先，同时定期更新以捕捉最新信息。更新频率由领域特定的变化检测算法控制。
• 快变和实时领域：对于信息变化速度快的领域，动态调整KG和Web-based RAG方法的使用比例，确保及时获取最新信息。

1.3.3 智能平衡

• KG优先：在大多数情况下，优先使用KG工作流程，因为KG在稳定信息环境中具有较高的准确性和可靠性。
• Web-based RAG补充：对于需要最新信息的查询，结合Web-based RAG方法，通过多阶段检索和自评估机制，提供更全面和及时的信息。

二、实验





• 通过优化KG组件和分类提示，显著提高了性能。初始基线得分为0.064，逐步优化后得分提高到0.1499。
• 分块大小为500时性能最佳。
• 使用高信心水平阈值显著提高了准确性。

模型分析：

• KG工作流：通过函数调用从知识图谱中提取特定信息，提供准确的答案并最小化错误。
• 基于Web的RAG工作流程：通过多阶段检索从大量网页中获取相关信息，并通过自评估机制减少幻觉。

总结

WeKnow-RAG方法通过结合知识图谱和Web搜索，设计了一个端到端的检索增强生成系统。该方法通过多阶段检索和自评估机制提高了信息检索的效率和准确性，并通过领域分类和查询生成优化了知识图谱的使用。最终，WeKnow-RAG在不同领域和问题类型上展示了显著的性能提升。