我要投稿

RAG：7种用于向量数据库+相似性搜索的索引方法

发布日期：2025-01-24 07:50:01 浏览次数： 1529 来源：Halo咯咯

.01

概述

在现代数据库类型中，尽管关系型数据库（Relational DB）、NoSQL数据库和图数据库（Graph DB）各有千秋，但在RAG（Retrieval-Augmented Generation）系统中，Vector DB却成为首选。它不仅支持水平扩展，还能结合CRUD操作（Create, Read, Update, Delete）提供元数据过滤功能，大幅提升数据检索效率和智能性。

本文将带你全面解析Vector DB，从基础概念、工作原理到查询加速的核心算法，帮助你更好地理解其强大功能及在RAG管道中的不可替代性。

.02

为什么选择Vector DB？

在一个包含1000份文档的RAG系统中，假设我们将文档分块并嵌入到向量空间，生成三维向量，存储词条如“dog”“cat”“ball”。当用户查询“horse”时，传统关系型数据库只能检索精确匹配的记录，而Vector DB通过近似最近邻搜索（Approximate Nearest Neighbour, ANN），能够返回“donkey”这一语义上最相似的记录。

这种语义匹配能力使得Vector DB在知识增强生成（RAG）系统中脱颖而出。无论是回答简单查询，还是在高维向量空间中发现隐藏的语义关联，Vector DB的性能和灵活性都远胜其他类型数据库。

.03

Vector DB与其他数据库对比

主要数据库类型及其应用场景

与其他数据库相比，Vector DB最大的特点是能以高效方式存储和检索高维向量。它不仅仅是数据存储工具，更是支持语义推理和智能查询的基础设施。

.04

Vector DB的核心工作原理

Vector DB的关键在于存储和高效检索高维向量，其主要流程包括：

索引构建（Indexing）
查询处理（Querying）
后处理（Post-Processing）

以下将重点介绍索引构建中的关键算法，以及如何通过查询和相似性度量加速检索过程。

.05

索引构建：加速查询的核心算法

索引是Vector DB性能的基石。良好的索引设计可在保证查询精度的前提下，大幅提升检索速度。以下是几种常见索引构建算法：

1） Flat Index（全量比较）

Flat Index采用暴力搜索方法，将每个查询点与数据库中的所有向量逐一比较，返回与查询点最接近的k个向量。

优点：精度最高，适合对查询结果要求极高的场景。
缺点：速度慢，尤其在高维数据和大规模数据集上。

2）局部敏感哈希（Local Sensitivity Hashing, LSH）

LSH通过哈希函数将相似的高维向量分组至相同的哈希桶中，只需在对应桶内搜索即可。

特点：适合处理包含大量相似向量的大型数据集。
挑战：哈希函数和桶大小的选择直接影响性能。

3）层次化小世界图（Hierarchical Navigable Small World, HNSW）

HNSW是一种基于图结构的算法，分层存储向量数据。每一层的节点通过边相连，边的权重表示相似性。

工作原理：查询时从顶层随机节点开始，逐层向下搜索相似节点，最终在底层找到最相似的向量。
优势：高效处理大规模数据，查询速度快。

4）倒排文件索引（Inverted File Indexing, IVF）

IVF通过聚类算法将向量划分为多个簇，并构建簇的索引。查询时仅需在相关簇中进行搜索。

特点：通过控制簇的数量（nprobes）权衡精度与速度。
应用：适合中等规模数据集的快速查询。

5）产品量化（Product Quantization, PQ）

PQ将高维向量分割为多个子向量，每个子向量通过k-means算法聚类，并存储其代表性质心。

优点：显著减少存储需求，同时保持相似性信息。
适用场景：需要在存储和性能之间寻求平衡的应用。

6） Spotify的ANNOY算法

ANNOY通过递归分割向量空间构建层次化索引，查询时沿层次结构搜索直到叶节点。

特点：轻量、高效，特别适合小型数据集或实时场景。

7）随机投影（Random Projection）

随机投影通过随机矩阵将高维向量映射到低维空间，保留向量间的相似性关系。

优点：大幅减少维度，同时保留查询的准确性。
应用：适合维度极高的数据集。

.06

查询与相似性度量

查询的核心是衡量向量间的相似性，以下是常见的相似性度量方式：

点积（Dot Product）：衡量两个向量间的点积值，适合高维空间的相似性计算。
余弦相似度（Cosine Similarity）：计算向量间夹角的余弦值，范围从-1到1。
欧几里得距离（Euclidean Distance）：计算两向量间的直线距离，用于衡量绝对相似性。

.07

总结与展望

Vector DB在RAG管道中的核心作用在于通过高效的索引与查询算法，支持语义相似性检索，弥补传统数据库在智能性上的不足。从Flat Index到HNSW，每种算法各有优劣，可根据具体应用场景选择合适的方案。

参考：

https://www.ai-bites.net/rag-7-indexing-methods-for-vector-dbs-similarity-search/

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-01-24

搭建 RAG 系统的技巧和策略

2025-01-24

知乎直答：AI 搜索产品从 0 到 1 实践探索

2025-01-24

RAG文档分块新思路：LGMGC如何提升文档分块的语义连贯性？

2025-01-23

2024 GitHub 十大最佳 RAG 框架

2025-01-23

Vertex AI RAG Engine：Google Cloud最新打造的RAG超级引擎（含代码）

2025-01-23

大模型生成内容靠谱吗？CRAAP测试告诉你

2025-01-23

反思 Reflection Agent —— 提升 AI 决策能力的利器

2025-01-23

北航团队发布XRAG-Ollama！基于Ollama的XRAG本地化部署与实验基准框架：让你的RAG实验与分析更加简单

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

RAG文档分块新思路：LGMGC如何提升文档分块的语义连贯性？

2025-01-24

传统 RAG 和 Agentic RAG有什么不同？

2025-01-20

AI“捉妖记”：腾讯“朱雀”上线，我们离“真相”更近一步？

2025-01-18

3种RAG方法深度对比！知识图谱为何让微软GraphRAG脱颖而出？

2025-01-18

RAG一周出Demo，半年上不了线，怎么破？

2025-01-18

哈啰：构建智能出行RAG，ES还是向量数据库？

2025-01-13

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

2025-01-09

搭建RAG架构，如何选择向量数据库产品？

2025-01-09

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）杨小姐 186 6662 7370

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204 陈先生 186 8244 3374

上海：上海市浦东新区金新路58号1602室戴先生 186 1639 7587

联系我们

售前咨询

预约演示

微信扫码

与创始人交个朋友

回到顶部