我要投稿

向量数据库有什么不同，企业应该怎么选择？

发布日期：2024-08-24 22:37:18 浏览次数： 1927 来源：Bear实验室

这一波AI的浪潮，同时也带火了向量数据库。向量数据库是一种专门设计用于处理和检索向量数据的数据库系统，其主要优势在于高效处理大规模复杂数据、支持高维数据、支持复杂查询和易于扩展。根据研究机构Gartner的报告，到2026年底，大约30%的企业将在其LLM架构中实施向量数据库，以处理复杂且快速变化的业务数据。

向量数据库能够处理各种实体（图像、文档、视频等），然后将其映射到高维向量空间中的坐标。然后建立类似HNSW（分层可导航小世界图）的索引，可以快速搜索内容。底层的基本原理并不复杂，感兴趣的可以查看另一篇文章。

大白话讲清楚GPT嵌入（Embedding）的基本原理

对比传统数据库

向量数据库的设计使其能够将数据存储、管理和表示到称为的维度空间中向量。能够将复杂的数据对象（例如：文档、单词、句子、图像、视频、音频，甚至字符）表示到高维空间中，以使生成式 AI 模型能够对其执行各种 AI 任务和操作。

主要类型

支持向量搜索的数据库选择很多，主要可以分成几类：

专用的向量数据库，原生就支持各种向量运算，如点积、余弦相似度等。这些数据库专为处理高维度数据而设计，能够应对大量查询请求，并能迅速完成向量间的相似性搜索。
支持向量的SQL数据库（例如pgvector），SQL数据库通过它们的向量支持扩展，提供了一种将向量数据整合到现有数据存储系统中的方式。这类数据库在构建索引和处理大量向量数据时性能表现并不理想，更适合于向量数据量较小（少于10万个向量）且向量数据仅作为应用程序的一个补充功能的场景。相反，如果向量数据是应用的核心，或者对可扩展性有较高要求，专用向量数据库就会是更合适的选择。
支持向量的NoSQL数据库（例如Redis），NoSQL数据库中新增加的向量支持功能尚属初级阶段，且尚未经过充分的时间验证。
全文搜索数据库（例如ElasticSearch）能支持比较全面的文本检索和高级分析功能。但是当涉及到执行向量相似性搜索和处理高维度数据时，它们与专门的向量数据库相比就不够强了。这些数据库往往需要与其他工具搭配使用才能实现语义搜索，因为它们主要依赖于倒排索引而不是向量索引。

如何选择

面对众多的选择，往往很难有一个简单的评价方式，主要还是看自身的应用场景和数据库的匹配度。除了支持向量维度大小、索引类型、性能指标等因素外，还有以下因素需要考虑：

混合搜索还是关键词搜索？关键词 + 矢量搜索的混合搜索可产生最佳结果，每个矢量数据库供应商都意识到了这一点，并提供了自己的定制混合搜索解决方案
本地部署还是云原生？许多供应商大力推销“云原生”，好像基础设施是世界上最大的痛点，但从长远来看，本地部署可能更经济，因此也更有效
开源还是完全托管？大多数供应商都基于源代码可用或开源代码库构建，以展示其底层方法，然后将管道的部署和基础设施部分货币化（通过完全托管的 SaaS）。仍然可以自行托管其中许多，但这需要额外的人力和内部技能要求。

编程语言

如今，快速、响应迅速且可扩展的数据库通常使用 Golang 或 Rust 等现代语言编写。在专门构建数据库的供应商中，唯一使用 Java 构建的供应商是 Vespa。Chroma 目前是基于 Clickhouse 的 Python/TypeScript 包装器，并使用 C++ 构建的 OLAP 数据库。有趣的是，尽管 Pinecone和 Lance（LanceDB 的底层存储格式）最初是用 C++ 编写的，但它们都是用 Rust 彻底重写的。

发布时间

Vespa 是最早将向量相似性搜索与当时占主导地位的 BM25 基于关键字的搜索算法结合起来的供应商之一。Weaviate 很快在 2018 年底推出了一款开源的专用向量搜索数据库产品，到 2019 年，随着 Milvus（也是开源的）的发布，我们开始看到该领域的竞争更加激烈。

请注意，时间线中也显示了 Zilliz，但它没有单独列出，因为它是 Milvus 的（商业）母公司，并提供基于 Milvus 构建的完全托管的云解决方案。2021 年，Vald、Qdrant 和 Pinecone三家新供应商进入了这一领域。Elasticsearch、Redis 和 PostgreSQL 等现有供应商在此之前一直缺席，并且开始提供向量搜索的时间比人们想象的要晚得多——仅在 2022 年及以后。

开源或者闭源

Zilliz 也是一个闭源的全托管商业解决方案，但它完全建立在 Milvus 之上，可以被视为 Milvus 的母公司。Pinecone则是完全闭源的。

部署方式

数据库供应商提供的典型托管方法包括自托管（本地）和托管/云原生，这两种方法都遵循客户端-服务器架构。有种较新的选项是嵌入式模式，其中数据库本身以无服务器方式与应用程序代码紧密耦合。目前，只有 Chroma 和 LanceDB 可用作嵌入式数据库。

索引算法

大多数供应商使用混合向量搜索方法，即以各种方式结合关键字和向量搜索。但是，每个数据库使用的底层向量索引可能有很大差异。

绝大多数数据库供应商都选择定制 HNSW（分层可导航小世界图）实现。将向量索引保存到磁盘正迅速成为一个重要目标，以便处理大于内存的数据集。2019 年 NeurIPS 关于 DiskANN 的论文表明，它有可能成为搜索数十亿个数据点的最快磁盘索引算法。Milvus、Weaviate 和 LanceDB 等数据库已经实现了自己的 DiskANN 版本（或正在积极实现），是该领域值得关注的数据库。

最后

通常技术团队都会习惯沿用现有的技术栈，对引入新的技术比较谨慎，这也是对的。特别是前期对技术和业务需求是否足够匹配不是很明确的时候，选择使用通用的数据库会是一个比较好的策略。当业务能得到进一步发展，有更大的项目收益，需要更高的性能要求，再考虑专用的向量数据库。

另一个从作者个人的喜爱出发，会更倾向开源的数据库。从历史上看，在数据库领域，最成功的商业模式是经过实践检验的方法，即先将代码开源代码（以便围绕该技术建立一个充满热情的社区），然后通过托管服务或云产品将数据库商业化。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

喂饭教程！全网首发Neo4J可视化GraphRAG索引

2024-07-17

手把手教你构建基于知识图谱的GraphRAG之结构化数据篇【LangChain+Neo4j】

2024-07-11

全网首发！小白也能读懂的GraphRAG知识图谱全流程解析，多图预警！

2024-08-13

大语言模型和知识图谱结合的知识库（开篇）

2024-07-13

理解图结构和图推理，彻底掌握GraphRAG底层逻辑，悄悄超越99%的人 | ICLR2024

2024-07-12

论文浅尝 | 揭开思维链、思维树和思维图的神秘面纱

2024-06-24

现在的限制: 提升空间

2024-07-08

两个基于大模型的知识图谱自动构建开源工具：兼看AutoKG轻量化关键词KG构建和混合增强问答思路

2024-06-10

手把手教你构建基于知识图谱的GraphRAG之非结构化数据篇【LlamaIndex+Neo4j】

2024-07-26

什么是知识图谱?与大模型有什么关系

2024-07-04

大家都在问

向量数据库到底算不算一种NoSQL数据库？

2024-12-16

解读 Graph+AI 白皮书：LLM 浪潮下，Graph 尚有何为？

2024-12-10

有哪些指标可以描述两个图（graph）的相似度？图的相似度计算是否可以通过统一的指标来完成？聚类系数能否作为图相似度的主要指标？

2024-12-04

如何用知识图谱解锁开源情报的真正潜力？

2024-12-01

GPT-4+GraphRAG：知识图谱如何让RAG系统更智能？

2024-11-30

技术动态 | 如何使用知识图谱改进RAG？

2024-11-22

从CSV到Neo4j：如何用LLM实现自动化数据建模？

2024-11-04

从零开始，她如何为客户创建语义知识图谱？

2024-10-10

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯