MiniRAG 是一个新型的高效轻量检索增强生成系统，旨在克服小型语言模型(SLM)在资源受限环境中性能不佳的问题。它通过两项创新技术：语义感知异构图索引和轻量级拓扑增强检索，实现了与LLMs相当的效果，但仅需后者25%的存储空间。此外，还提供了一个基准数据集以评估复杂查询场景下的系统表现，并已开源实现和数据集：https://github.com/HKUDS/MiniRAG。

点关注不迷路

一、MiniRAG 实现原理

MiniRAG系统通过以下两种机制解决在资源受限场景下利用SLMs进行RAG任务的问题：

• 1.异构图索引机制： MiniRAG引入了一种语义感知的异构图索引机制，将文本块和命名实体统一在一个结构中，减少对复杂语义理解的依赖。该机制的核心是将数据分为两类节点：文本块节点和实体节点。实体节点包括事件、位置、时间参考和领域特定概念等，用于锚定语义理解。节点之间的边分为两类：实体-实体连接和实体-文本块连接。

• 2.轻量级拓扑增强检索： MiniRAG提出了一种基于图的检索方法，利用图结构和启发式搜索模式进行高效的知识发现。该方法包括查询语义映射和拓扑增强图检索两个阶段。

• 1）查询语义映射：首先，使用小型语言模型从查询中提取相关实体，并使用轻量级句子嵌入模型评估图中所有实体节点的语义相似性。然后，通过智能查询引导机制在图中构建推理路径。
• 2）拓扑增强图检索：通过嵌入相似性搜索识别种子实体，然后利用异构图结构发现相关的推理路径。通过结合实体特定的相关性评分、结构重要性指标和路径连接模式，实现了高效的检索质量。

相关公式解释

• 实体-实体连接的相关性评分函数：

  其中，表示以边为中心的跳子图，包含从任一端点可达的所有节点和边。

• 路径发现的综合评分函数：

  其中，表示起始节点与查询实体在向量空间中的余弦相似度，是一个二元指示函数，如果节点出现在路径中则返回1，否则返回0。

二、实验设计

数据集

• 合成个人通信数据：通过GPT-4生成，模拟了一年的日常生活交互。
• 短文档数据：基于当代新闻文章的多跳RAG数据集。

评估协议和指标

使用准确率（acc）和错误率（err）作为评估指标。准确率衡量RAG系统响应与预期答案的一致性，错误率捕捉RAG系统提供错误信息的情况。

部分实现细节

• 文本处理设置块大小为1200个token，重叠100个token，使用nano vector base进行向量存储。
• MiniRAG实现中，top-k检索设置为5篇文档，最大令牌限制为6000个token。

模型选择

• 高级LLM设置：使用gpt-4o-mini和text-embedding-3-small。
• 轻量级SLM设置：使用优化的all-MiniLM-L6-v2和各种小型语言模型，如Phi-3.5-mini-instruct、GLM-Edge-1.5B-Chat、Qwen2.5-3B-Instruct和MiniCPM3-4B。
  

三、总结

这篇论文提出了MiniRAG系统，通过创新的异构图索引和轻量级启发式检索机制，有效地整合了基于文本和基于图的RAG方法的优势，同时显著减少了语言模型的需求。实验结果表明，即使在使用SLMs的情况下，MiniRAG也能达到与基于LLMs的方法相当的性能。此外，为了促进这一新兴领域的研究，作者发布了一个专门用于评估设备RAG能力的基准数据集，具有现实的个人通信场景和多约束查询。这些贡献为实现私有、高效和有效的设备RAG系统迈出了重要一步，为边缘设备AI应用开辟了新的可能性，同时保护了用户隐私和资源效率。

不足与反思

1. 小型语言模型的局限性：尽管小型语言模型在模式匹配和局部文本处理方面表现出色，但在复杂的语义理解和多步推理方面仍存在显著挑战。
2. 未来工作方向：未来的研究可以进一步探索如何更好地利用小型语言模型的优势，以应对更复杂的RAG任务。

四、问答回顾

问题1：MiniRAG的语义感知的异构图索引机制是如何设计的？其优点是什么？

MiniRAG的语义感知的异构图索引机制通过将文本块和命名实体统一在一个结构中，减少了对复杂语义理解的依赖。具体来说，构建的异构图包含两类节点：文本块节点和实体节点。实体节点之间的连接分为实体-实体连接和实体-文本块连接。每条边都通过语言模型的语义理解能力建立，并带有语义描述。

其优点包括：

1. 减少对复杂语义理解的依赖：通过将文本块和命名实体统一在一个结构中，减少了SLMs在处理复杂语义关系时的负担。
2. 提高信息检索的精确性：通过实体-实体连接和实体-文本块连接，能够更精确地捕捉文本中的关键信息和语义关系。
3. 增强系统的鲁棒性：即使在SLMs能力有限的情况下，也能通过结构化的知识表示保持系统的鲁棒性和准确性。

问题2：MiniRAG在实验中表现如何？与其他RAG系统相比有哪些优势？

1. 性能退化分析：现有的RAG系统在使用SLMs时表现出严重的性能退化，如LightRAG的准确率从56.90%下降到35.42%。MiniRAG通过语义感知的图索引和拓扑增强的检索方法，显著减少了这种退化。
2. 组件分析：通过消融研究，验证了SLMs的限制性和查询引导的推理路径发现组件的有效性。去除边信息或文本块节点会显著影响系统性能。
3. 案例研究：在复杂的餐厅识别场景中，MiniRAG通过查询引导的推理路径发现和异构图索引，成功解决了多约束查询问题，而LightRAG由于SLMs的限制未能有效解决。

总体而言，MiniRAG的优势在于：

1. 提供了一种轻量级的RAG系统，适用于资源受限的环境。
2. 语义感知的图索引：通过双节点异构图结构，减少了对强大文本生成能力的依赖，专注于基本的实体提取和异构关系映射。
3. 拓扑增强检索：通过系统化的过程平衡了多个信息信号，实现了高效的检索质量，不需要高级的语言理解能力。
4. 发布了一个综合基准数据集，用于评估实际设备上的RAG能力，推动了该领域的研究进展。