粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
解码器架构的概述，以及标准RAG和多头RAG嵌入生成方式的比较。
多头检索增强生成（Multi-Head RAG, MRAG）流程的概述：
数据准备（Data Preparation）：在数据准备阶段，MRAG通过使用选定的基于解码器的嵌入模型（decoder-based embedding model）来创建文本块（text chunks）的多方面嵌入（multi-aspect embeddings）。这些嵌入随后与相应的文档或文本块一起存储在数据存储（data store）中。MRAG支持不同类型的数据嵌入，包括文档分块、整文档或其他类型的数据。
查询执行（Query Execution）：在查询执行阶段，首先使用选定的嵌入模型为输入查询生成多方面嵌入。然后，使用特殊的多方面检索策略在数据存储中找到最接近的多方面嵌入及其对应的文本块。最后，检索到的数据可以选用新的度量标准进行评估，以确定其与多方面需求的对应程度。
多方面嵌入的存储：与标准RAG不同，MRAG为每个多方面嵌入包含h个单方面嵌入，每个嵌入指向原始文本块。数据存储包含h个嵌入空间，每个空间捕获文本的不同方面。这使得MRAG能够在多个嵌入空间中比较查询和文本块，这些空间捕获数据的多个方面。
多方面检索策略：MRAG的检索策略包括三个步骤：在数据准备期间为所有h个嵌入空间分配重要性得分；在查询执行期间，MRAG首先为每个嵌入空间单独应用传统RAG检索，返回每个嵌入空间的c个最近文本块的列表；然后使用预计算的重要性得分通过投票策略从所有hc个块中选择整体前k个。
与数据存储的集成：MRAG可以与不同类型的数据存储和最近邻（Nearest Neighbor, NN）搜索方法无缝使用。它可以结合精确和近似的最近邻搜索来找到匹配的（嵌入，块）对。
https://arxiv.org/html/2406.05085v1https://github.com/spcl/MRAGMulti-Head RAG: Solving Multi-Aspect Problems with LLMs
推荐阅读
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-03-30
2024-08-13
2024-05-10
2024-05-28
2024-04-26
2024-04-12
2024-04-25
2024-05-06
2024-07-25
2024-05-14
回到顶部