我要投稿

Vectorlite v0.2.0：在SQLite驱动下实现极速向量检索

发布日期：2024-09-20 10:34:46 浏览次数： 1675 来源：Halo咯咯

01。

概述

在技术的迅猛浪潮中，Vectorlite的最新版本v0.2.0以其卓越的性能提升，再次证明了其在向量搜索领域的领先地位。自Vectorlite首次亮相以来，它便以其飞快的搜索速度赢得了开发者的青睐，这一切得益于其底层强大的向量搜索库——hnswlib。然而，技术的探索永无止境，Vectorlite团队并未因此停下脚步，他们不断挑战自我，力求突破，终于在v0.2.0版本中实现了又一次的飞跃。

02。

性能改进的背景

hnswlib虽然强大，但它在某些方面的局限性也逐渐显现。比如在ARM平台上，它的向量距离实现会退回到较慢的标量实现；在支持AVX2的x64平台上，其SIMD实现只有在有更快指令时才使用AVX指令。此外，SIMD指令在编译时确定，这可能会导致一些问题，尤其是当预编译的Vectorlite包分发时，用户的机器可能并不支持AVX2，或者支持更高级的SIMD指令，如AVX-512，而预编译的Vectorlite却无法利用这些高级指令。

为了解决这些问题，Vectorlite v0.2.0版本采用了Google的highway库，实现了自己的可移植向量距离实现。这一改进不仅解决了上述问题，还带来了一系列令人瞩目的性能提升。

03。

v0.2.0版本的性能提升

在v0.2.0版本中，Vectorlite的速度得到了显著提升：

动态SIMD指令集检测：得益于highway库的动态调度特性，Vectorlite现在可以在运行时检测到最佳可用的SIMD指令集。这意味着，即使是在向量维度较小（<=128）的情况下，Vectorlite也能保持高效的性能，尽管会有一点点运行时开销。
向量距离实现的优化：在我的PC上（支持AVX2的i5-12600KF Intel CPU），当向量维度较大（>=256）时，Vectorlite的向量距离实现比hnswlib的实现快1.5倍至3倍。这一提升主要得益于Vectorlite能够充分利用AVX2的Fused-Multiply-Add操作。然而，当向量维度较小（<=128）时，Vectorlite的速度略慢于hnswlib，这是由于动态调度的成本。
ARM平台的SIMD加速：在ARM平台上，Vectorlite现在也支持SIMD加速，这是以往版本所不具备的。
向量归一化的加速：向量归一化现在保证是SIMD加速的，比标量实现快4倍至10倍，这对于使用余弦距离的向量搜索任务尤为重要。

04。

E2E基准测试

为了全面评估Vectorlite v0.2.0版本的表现，开发团队进行了一系列的E2E基准测试。这些测试使用了不同维度和数量的向量，以及不同的查询参数，以模拟真实世界中的使用场景。

测试结果表明，Vectorlite在向量查询速度上比sqlite-vec快3倍至100倍，且随着数据集大小的增加，这一差异越来越大。这主要是因为sqlite-vec只使用暴力搜索，而不适用于大型数据集。与此同时，Vectorlite使用ANN（近似最近邻）算法，可以扩展到大型数据集，尽管准确率可能不是100%。

05。

结论

Vectorlite v0.2.0版本的发布，不仅在技术上实现了显著的突破，更在实际应用中展现出了卓越的性能。无论是在小数据集还是预期的大数据集上，Vectorlite都显示出了其在向量搜索领域的领导地位。随着未来工作的不断推进，Vectorlite有望在向量搜索领域实现更多的创新和突破。

Vectorlite仍有很多未来的工作：

支持向量标量量化
在更大的数据集上进行基准测试
支持用户提供的元数据（rowid）过滤器

随着v0.2.0版本的发布，Vectorlite的向量搜索性能更快。即使在支持AVX2的机器上，它通常也比直接使用hnswlib运行得更快。在向量搜索方面，即使对于小数据集，Vectorlite也具有显著的性能优势，并且应该能够扩展到更大的数据集。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

喂饭教程！全网首发Neo4J可视化GraphRAG索引

2024-07-17

手把手教你构建基于知识图谱的GraphRAG之结构化数据篇【LangChain+Neo4j】

2024-07-11

大语言模型和知识图谱结合的知识库（开篇）

2024-07-13

全网首发！小白也能读懂的GraphRAG知识图谱全流程解析，多图预警！

2024-08-13

现在的限制: 提升空间

2024-07-08

理解图结构和图推理，彻底掌握GraphRAG底层逻辑，悄悄超越99%的人 | ICLR2024

2024-07-12

手把手教你构建基于知识图谱的GraphRAG之非结构化数据篇【LlamaIndex+Neo4j】

2024-07-26

两个基于大模型的知识图谱自动构建开源工具：兼看AutoKG轻量化关键词KG构建和混合增强问答思路

2024-06-10

什么是知识图谱?与大模型有什么关系

2024-07-04

论文浅尝 | 揭开思维链、思维树和思维图的神秘面纱

2024-06-24

大家都在问

技术动态 | 如何使用知识图谱改进RAG？

2024-11-22

从CSV到Neo4j：如何用LLM实现自动化数据建模？

2024-11-04

从零开始，她如何为客户创建语义知识图谱？

2024-10-10

Graphiti：如何让构建知识图谱变得更快、更具动态性?

2024-10-03

大模型的AI时代，为什么还要关心数据库？

2024-09-27

什么是矢量数据库(VectorDB)？为什么它对大语言模型(LLM)很重要？

2024-09-08

什么是 Neo4j LLM 知识图谱构建器？

2024-09-05

Neo4j + LangChain：如何构建基于知识图谱的最强RAG系统？

2024-08-27

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯