引言

何为RAG融合

RAG融合的关键优势

RAG融合的工作机制

过程始于用户提交的查询，这个查询将被用作生成多个相关查询的基础。

系统基于原始用户查询生成多个类似或相关的查询。这一步骤有助于扩大搜索范围并收集更多相关的结果。

这些生成的查询和原始用户查询分别通过向量搜索查询。向量搜索查询通过将查询转换为向量表示，然后在向量数据库中搜索最相关的信息。

在每个向量搜索查询检索到自己的结果集后，通过称为逆向排名融合的过程结合这些结果。这种融合方法然后根据它们在所有不同查询中的相关性对结果进行排名，从而大大提高了检索信息的整体质量。

来自融合步骤的结果然后被重新排名，以优先考虑最相关的文档。

基于这些重新排名的结果，系统生成最终输出，这可能是回答、内容或用户所需的其他期望输出。

• 改善相关性和精确度（Improved Relevance and Precision）：RRF的集成允许对检索到的文档进行更复杂的评估，减少了不相关或低质量输出的可能性。这对于需要更深入理解上下文的复杂查询特别有益。

• 对局限性的鲁棒性（Robustness Against Limitations）：RAG融合通过利用各个检索系统的优势来减轻其局限性，从而实现更全面和可靠的信息检索过程，最终提高用户满意度。

• 数据质量和相关性（Data Quality and Relevance）：RAG融合的有效性在很大程度上依赖于检索数据的质量。如果底层数据不准确或过时，可能会对生成的回答的相关性和准确性产生负面影响。

• 延迟问题（Latency Issues）：多查询生成和重新排名过程可能会引入延迟，这在需要实时响应的应用中是一个重要考虑因素。

参考资料：

[1] G. V. Cormack, C. L. A. Clarke, Stefan B¨uttcher. Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods

[2] Yizheng Huang, Jimmy Huang. A Survey on Retrieval-Augmented Text Generation for Large Language Models. arXiv:2404.10981.

[3] Ruochen Zhao, Hailin Chen, Weishi Wang, Fangkai Jiao, Xuan Long Do, Chengwei Qin, Bosheng Ding, Xiaobao Guo, Minzhi Li, Xingxuan Li, Shafiq Joty. Retrieving Multimodal Information for Augmented Generation: A Survey. arXiv:2303.10868.

[4] Xiaohua Wang, Zhenghua Wang, Xuan Gao, Feiran Zhang,Yixin Wu, Zhibo Xu, Tianyuan Shi, Zhengyuan Wang, Shizheng Li,Qi Qian, Ruicheng Yin, Changze Lv, Xiaoqing Zheng∗, Xuanjing Huang. Searching for Best Practices in Retrieval-Augmented Generation. arXiv:2407.01219.

[5] Leonie Monigatti. Improving Retrieval Performance in RAG Pipelines with Hybrid Search. Medium.

[6] Aditya Kumar. Maximal Marginal Relevance to Re-rank results in Unsupervised KeyPhrase Extraction. tech-that-works Medium.

[7] Adrian H. Raudasch. Forget RAG, the Future is RAG-Fusion. Towards Data Science.

[8] Deval Shah. Reciprocal Rank Fusion (RRF) explained in 4 mins — How to score results form multiple retrieval methods in RAG. Medium.