我要投稿

告别传统的文档切块！JinaAI提出Late Chunking技巧

发布日期：2024-09-05 04:57:39 浏览次数： 2023 来源：探索AGI

正常在处理大规模数据建索引的时候，一般我们需要先对文档进行分块，建立向量索引。而这个分块大小，设置的都是比较短的，比如512。一方面是早期bert的处理长度的限制，另一个方面是如果文本太长，包含的信息就越多，那么可能比较难用一个向量来表征出来。

对于前者，如果持续关注向量模型的同学可以发现，无论是开源的BGE系列，还是闭源的API，都在往一个较长的上下文靠齐（比如说8192）。那这就有一些矛盾了，如果工业界只需要512的上下文的向量模型，为什么还要往更长的8192模型发展呢？

对于传统的分块，类似于固定长度的分块。带来的一个比较大的问题是，上下文缺失。就像下图一样，一个句子的主语在段落开头，后面的段落/句子中，有一些代词比如 It's， The city等等来表示主语。这种情况下确实主语的句子基本上就变得比较断章取义了~

与先分块后向量化不同，JinaAI最新提出的“Late Chunking”方法是一个相反的步骤，首先将整个文本或尽可能多的文本输入到嵌入模型中。在输出层会为每个token生成一个向量表示，其中包含整个文本的文本信息。然后我们可以按照需要的块大小对对向量进行聚合得到每个chunk的embedding。这样的优势是，充分利用长上下文模型的优势，同时又不会让每个块的信息过多，干扰向量表征。

在测试中，在所有情况下，与常规的分块相比，Late Chunking提高了召回ndcg@10。在某些情况下，它的性能也优于将整个文档编码为单个嵌入。并且，文档越长，Late Chunking策略就越有效。

开源的实验代码：https://colab.research.google.com/drive/15vNZb6AsU7byjYoaEtXuNu567JWNzXOz?usp=sharing&ref=jina-ai-gmbh.ghost.io

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

一文带你了解大模型——智能体（Agent）

2024-05-28

全面对比dify、coze、streamlit、chainlit

2024-04-26

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

16个具有“联网搜索”功能的AI：总有一个适合你！

2024-06-13

50+个AI大模型在不同领域的应用案例

2024-08-04

OpenAI o1与GPT4o的对比分析

2024-09-23

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

一文读懂大模型推理必备技术：KV Cache

2024-07-01

Claude中国官网正式上线！1:1还原官网，非套壳，国内直连

2024-07-18

大家都在问

复盘2024，大模型的商业化主线是什么？

2025-01-13

大模型之嵌入与向量化的区别是什么？

2025-01-13

最近总被提及的 Agentic AI 到底是什么？

2025-01-12

AI是否会终结传统搜索引擎？

2025-01-11

2025 AI Agent迷局：谁在玩真的，谁在演戏？

2025-01-10

杨芳贤｜AI 2.0时代，如何拥抱与驾驭大模型？

2025-01-09

深度长文｜AI的“巴别塔”：多Agent协同为何如此之难？