我要投稿

知识库越大向量检索准确性越低！RAG应用的陷阱

发布日期：2024-09-29 18:39:27 浏览次数： 2627

作者：AI工程化

微信搜一搜，关注“AI工程化”

在构建知识库的过程中，我们除了关注内容解析、文本分块层面对RAG性能影响之外，知识库大小会对RAG性能会有什么样的影响呢？AI工具公司EyeLevel.ai的数据科学家Daniel Warfield和前IBM Watson高级工程师Dr. Benjamin Fletcher博士在RAG技术规模化研究过程中发现一个现象：向量搜索的准确性随着数据量的增加而显著下降。

他们发现，使用向量数据库进行相似性搜索时，当文档数量仅达到10,000页时，搜索精度就开始出现明显下降。更令人担忧的是，当文档数量达到100,000页时，性能损失高达12%。

研究团队使用Pinecone向量数据库，结合LangChain和LlamaIndex两种流行的RAG框架进行测试。结果显示，这两种框架在文档数量增加时都出现了显著的性能下降。

测试方案设计如下：

定义了92个基于真实世界文档的问题。
创建了四个文档集，每个集合都包含相同的310页核心文档，这些文档包含了92个测试问题的答案。
在核心文档的基础上，逐步增加无关文档的数量，创建了四个测试集：1,000页、10,000页、50,000页和100,000页。

此图表显示了每个文档集中的相关页面数量（蓝色为相关文档，红色为无关文档），与每个文档集的总大小进行比较。

测试结果显示：

在1,000页文档集上，三种方法的性能差异不大。
到10,000页时，LangChain和LlamaIndex（简单RAG）的准确率开始明显下降，大约下降了5%。
在50,000页文档集上，这两种方法的准确率进一步下降，降幅接近10%。
当文档数量达到100,000页时，LangChain和LlamaIndex的性能损失高达12%。

研究团队指出，向量搜索在大规模数据集上表现不佳的原因可能在于如何将信息"有意义地"组织到向量空间中。现有的编码器似乎难以在向量空间中有效地组织大量文档，导致空间变得"杂乱"，使得基于距离的搜索效果下降，这也说明了embedding模型的重要性。

理论上，高维向量空间可以容纳大量信息。例如，1536维的向量空间可以描述的内容数量远远超过已知宇宙中的原子数量。然而，实际应用中，如何有效地将信息组织到向量空间中是一个巨大的挑战。现代编码器在处理大规模文档集时，难以将信息有意义地组织到向量空间中，导致基于距离的搜索性能下降。

也就是说，造成这个问题的根源可能在于RAG系统强依赖的向量相似性搜索策略。例如，Pinecone等向量数据库通常使用余弦相似度或欧氏距离来计算向量间的相似性。然而，随着文档数量的增加，这些简单的距离度量可能无法准确捕捉文档间的语义关系。

相比之下，GroundX给出的方案是采用了基于语义对象相似性的比较方法，避免了直接使用向量，从而在大规模数据集上保持了较好的性能，在整个测试过程中表现出了更好的稳定性。即使在100,000页的大规模数据集上，其准确率仅下降了约2%。

出现这一结果是符合直觉的，作为一个知识型应用，高质量的、精准的数据对于提升检索性能是至关重要的，比如，一个组织，团队规模较小时，越多的context是有利于团队更好的决策和执行，随着组织规模扩大，太多的context甚至是无关的context会带来巨大的信息负担，进而影响组织效率。

因此，不仅要控制质量，也要控制数量，这在text2sql实践中，增加一些选表模型，就是为了缓解这一类问题，随着知识库越建越大，如何拆分知识库，以及更准确的的找到相关知识库，这一类问题也将会越来越被人所关注。

在实践层面，混合检索的方式也是克服这一类问题的有效方式之一，不仅使用向量检索，也适用文本检索。这其中就包括之前介绍的“上下文检索”这样的方案。详见：Anthropic提出Contextual Retrieval让RAG再进化，大幅降低检索失败率

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-10-29

RAG 让你的 AI 更聪明

2025-10-28

多少做RAG的人，连分词都搞不定? Milvus Analyzer指南

2025-10-28

先分块再向量化已经过时！先embedding再chunking才是王道

2025-10-28

AI检索增强中路由模型的使用

2025-10-28

HybRAG：混合文本和知识图谱的RAG框架

2025-10-28

“生成幻觉”（Hallucination）和“知识时效性”不足引发的架构范式变革

2025-10-27

RAG优化技巧

2025-10-26

关于RAG系统在多轮对话中的问题改写(优化)方法—使用历史记录改写问题

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

RAG彻底爆了！一文掌握其效果优化的架构设计及核心要点

2025-09-15

从原理到落地：RAG 技术全解析，手把手教你搭建专属知识库

2025-09-02

响应速度提升300%、检索准确率90%：RAG如何让企业知识“活”起来赚钱？

2025-08-05

优化 GraphRAG：LightRAG的三大改进

2025-08-18

RAG系统全景：架构详解与落地实践指南

2025-08-25

高质量AI知识库应用的前提：选对向量数据库

2025-08-25

一文搞懂大模型：何为深入理解RAG？

2025-08-25

DeepMind爆火论文：向量嵌入模型存在数学上限，Scaling laws放缓实锤？

2025-09-03

别再往AI的知识库塞奇怪的东西了，什么样的知识适合作为RAG知识库？

2025-08-20

万字长文详解腾讯优图RAG技术的架构设计与创新实践

2025-09-08

大家都在问

Embedding与Rerank：90%的RAG系统都搞错了！为什么单靠向量检索会毁了你的AI应用？

2025-10-04

存算一体破局向量检索瓶颈，IBM放出王炸VSM：性能飙升100倍，能效碾压GPU千倍，RAG要变天？

2025-09-30

您应该为您的 RAG 系统使用哪种分块技术？

2025-09-10

关于多模态应用的几个疑问，以及多模态应该怎么应用于RAG？

2025-09-10

DeepMind爆火论文：向量嵌入模型存在数学上限，Scaling laws放缓实锤？

2025-09-03

RAG检索后如何应用更有效？

2025-08-28

一文搞懂大模型：何为深入理解RAG？

2025-08-25

别再往AI的知识库塞奇怪的东西了，什么样的知识适合作为RAG知识库？

2025-08-20

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部