为什么RAG系统要拥抱向量检索？揭示关键字检索的致命弱点！

推荐语

深入解析RAG系统选择向量检索的原因，揭示传统关键字检索的不足。

核心内容：
1. 关键字检索无法理解语义信息，导致匹配不准确
2. 向量检索通过捕捉语义相似度，有效解决传统问题
3. RAG系统中向量检索的应用优势与技术细节

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

搭建RAG系统时，使用 向量检索 的原因主要在于其能够有效解决传统 关键字检索 的 局限性，并提升检索的准确性和效率。

那么关键字检索到底存在什么局限性？向量检索是如何解决的？这篇文章文章带你搞明白这背后的原因。

关键字检索的局限性

传统关键字检索依赖于词频统计，如基于BM25的倒排索引，这种方式无法理解语义信息，因此在处理复杂查询时存在以下问题：

语义理解不足：关键字检索仅 匹配字面相同 的词语，无法捕捉到 语义上的相似性。例如，查询 “苹果公司最新产品有哪些？”，关键词检索就可能返回关于水果“苹果”种植技术的文档。

模糊表达和拼写错误：对于模糊描述或拼写错误的查询，关键字检索容易返回不相关的结果。

长尾查询支持不足：当查询包含多个关键词或复杂结构时，关键字检索的召回率较低。

向量检索的优势

而向量检索是通过将文本转换为多维向量表示，并利用向量之间的相似度计算，比如：余弦相似度 来匹配查询，从而克服了关键字检索的局限性：

语义理解能力强：向量检索能够捕捉文本的语义信息，即使查询和文档中没有完全相同的词语，或是不同种类的语言，也能找到语义上相关的匹配项。

例如，查询 “为什么下雨前蚂蚁会排队搬家？”，即使文档中未明确提到“蚂蚁搬家”，模型仍能通过向量相似度关联到 “昆虫感知气压变化” 的科普内容。

处理模糊表达和拼写错误：向量检索对模糊表达和拼写错误具有一定的容错能力，能够通过语义相似度匹配到相关内容。

支持复杂查询：向量检索能够更好地处理包含多个关键词或复杂结构的查询，提高召回率和相关性。

向量检索与RAG系统

在RAG系统中，向量检索作为核心组件，负责从大规模数据集中快速找到与查询语义最接近的内容：

高效性：向量数据库支持高维数据的快速相似性搜索，能够在大规模数据集中快速找到最相似的向量。

灵活性：向量检索可以结合不同的嵌入模型和向量数据库技术，模型比如BGE-M3、text-embedding-3-small，向量数据库如 Milvus、Faiss等，灵活应对不同场景的需求。

提升生成质量：通过向量检索获取的相关内容作为输入，再结合大语言模型生成更准确、更丰富的回答。

课代表小结

尽管向量检索在语义理解上具有优势，但在某些情况下，如：专有名词、人名、缩写词 搜索，传统关键字检索可能更为有效。

因此，混合搜索方法：结合向量检索和关键字检索被提出，以弥补各自的不足，实现更广泛的文本搜索。

往期推荐：

1、开发RAG系统，知识库的文档应该如何切分？有哪些注意事项

2、刷爆全网的 Manus 又是什么技术？比DeepSeek还要厉害吗？

3、搞懂：生成式AI和决策式AI的异同点，以及生成式AI的核心优势？

好了，本期内容就是这么多，希望能够帮助到您，感谢您能读到最后，如果觉得内容不错，请您点赞转发给予鼓励，咱们下期再见。