我要投稿

Vectorlite v0.2.0：在SQLite驱动下实现极速向量检索

发布日期：2024-09-20 10:34:46 浏览次数： 1511

01。

概述

在技术的迅猛浪潮中，Vectorlite的最新版本v0.2.0以其卓越的性能提升，再次证明了其在向量搜索领域的领先地位。自Vectorlite首次亮相以来，它便以其飞快的搜索速度赢得了开发者的青睐，这一切得益于其底层强大的向量搜索库——hnswlib。然而，技术的探索永无止境，Vectorlite团队并未因此停下脚步，他们不断挑战自我，力求突破，终于在v0.2.0版本中实现了又一次的飞跃。

02。

性能改进的背景

hnswlib虽然强大，但它在某些方面的局限性也逐渐显现。比如在ARM平台上，它的向量距离实现会退回到较慢的标量实现；在支持AVX2的x64平台上，其SIMD实现只有在有更快指令时才使用AVX指令。此外，SIMD指令在编译时确定，这可能会导致一些问题，尤其是当预编译的Vectorlite包分发时，用户的机器可能并不支持AVX2，或者支持更高级的SIMD指令，如AVX-512，而预编译的Vectorlite却无法利用这些高级指令。

为了解决这些问题，Vectorlite v0.2.0版本采用了Google的highway库，实现了自己的可移植向量距离实现。这一改进不仅解决了上述问题，还带来了一系列令人瞩目的性能提升。

03。

v0.2.0版本的性能提升

在v0.2.0版本中，Vectorlite的速度得到了显著提升：

动态SIMD指令集检测：得益于highway库的动态调度特性，Vectorlite现在可以在运行时检测到最佳可用的SIMD指令集。这意味着，即使是在向量维度较小（<=128）的情况下，Vectorlite也能保持高效的性能，尽管会有一点点运行时开销。
向量距离实现的优化：在我的PC上（支持AVX2的i5-12600KF Intel CPU），当向量维度较大（>=256）时，Vectorlite的向量距离实现比hnswlib的实现快1.5倍至3倍。这一提升主要得益于Vectorlite能够充分利用AVX2的Fused-Multiply-Add操作。然而，当向量维度较小（<=128）时，Vectorlite的速度略慢于hnswlib，这是由于动态调度的成本。
ARM平台的SIMD加速：在ARM平台上，Vectorlite现在也支持SIMD加速，这是以往版本所不具备的。
向量归一化的加速：向量归一化现在保证是SIMD加速的，比标量实现快4倍至10倍，这对于使用余弦距离的向量搜索任务尤为重要。

04。

E2E基准测试

为了全面评估Vectorlite v0.2.0版本的表现，开发团队进行了一系列的E2E基准测试。这些测试使用了不同维度和数量的向量，以及不同的查询参数，以模拟真实世界中的使用场景。

测试结果表明，Vectorlite在向量查询速度上比sqlite-vec快3倍至100倍，且随着数据集大小的增加，这一差异越来越大。这主要是因为sqlite-vec只使用暴力搜索，而不适用于大型数据集。与此同时，Vectorlite使用ANN（近似最近邻）算法，可以扩展到大型数据集，尽管准确率可能不是100%。

05。

结论

Vectorlite v0.2.0版本的发布，不仅在技术上实现了显著的突破，更在实际应用中展现出了卓越的性能。无论是在小数据集还是预期的大数据集上，Vectorlite都显示出了其在向量搜索领域的领导地位。随着未来工作的不断推进，Vectorlite有望在向量搜索领域实现更多的创新和突破。

Vectorlite仍有很多未来的工作：

支持向量标量量化
在更大的数据集上进行基准测试
支持用户提供的元数据（rowid）过滤器

随着v0.2.0版本的发布，Vectorlite的向量搜索性能更快。即使在支持AVX2的机器上，它通常也比直接使用hnswlib运行得更快。在向量搜索方面，即使对于小数据集，Vectorlite也具有显著的性能优势，并且应该能够扩展到更大的数据集。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

Coze教程之;知识库的奥秘

2024-07-18

喂饭教程！全网首发Neo4J可视化GraphRAG索引

2024-07-17

基于graphRAG和gpt4omini的知识库与目前主流RAG的对比实验记录

2024-07-22

手把手教你构建基于知识图谱的GraphRAG之结构化数据篇【LangChain+Neo4j】

2024-07-11

Storm AI：4.9k 星星！斯坦福开源免费AI工具可以将主题转换为长篇文章（Perplexity Pages平替）

2024-07-11

大语言模型和知识图谱结合的知识库（开篇）

2024-07-13

重磅 - 微软官宣正式在GitHub开源GraphRAG

2024-07-03

GraphRAG+Ollama 结合上市公司知识图谱的LLM分析

2024-07-19

Graph Maker：轻松使用开源大模型将文本转为知识图谱，发现新知识！

2024-06-06

大家都在问

什么是矢量数据库(VectorDB)？为什么它对大语言模型(LLM)很重要？

2024-09-08

什么是 Neo4j LLM 知识图谱构建器？

2024-09-05

Neo4j + LangChain：如何构建基于知识图谱的最强RAG系统？

2024-08-27

政务大模型应用产业链剖析和各省市典型案例

2024-08-26

向量数据库有什么不同，企业应该怎么选择？

2024-08-24

【下】深入Microsoft GraphRAG之查询阶段：基于Neo4j自定义实现检索与生成

2024-08-22

从原理到实践，GraphRAG 如何提升 LLM 的摘要总结能力？

2024-08-19

HybridRAG: 融合知识图谱和向量检索的新型信息提取方法

2024-08-18

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯