我要投稿

文本分块哪家强？LumberChunker、语义分块、段落级、循环分块、HyDE、命题级

发布日期：2024-06-28 05:38:23 浏览次数： 2090 来源：PaperAgent

检索增强生成（RAG）系统通过将模型生成与上下文相关文档相结合来提高信息的准确性，文本内容如何分割成“块（chunk）”对检索质量有显著影响。

用于问答实验的RAG Pipeline，一些tricks，混合检索：BM25-Top3、密集检索-Top15，BM25的Top1排在前面，Top2-3排在最后；大模型重排序：如果上下文包含六个或更多块，从中间点开始反转块的顺序。

LumberChunker方法利用LLM动态地将文档分割成语义独立的块。这种方法基于一个前提：当内容块的大小可以变化时，检索效率会提高，因为这样可以更好地捕捉内容的语义独立性。LumberChunker通过迭代地提示LLM，在一系列连续段落中识别内容开始转变的点，从而确保每个块在上下文中是连贯的，但与相邻块有所区别。

LumberChunker遵循一个三步流程。首先，按段落对文档进行分割。其次，通过追加连续的块，创建一个组（Gi），直到超过预定义的标记计数θ。最后，将Gi作为上下文输入到Gemini，Gemini确定显著内容转变开始出现的ID，从而定义了Gi+1的开始和当前块的结束。这个过程在整个文档中循环重复。

实验结果表明，LumberChunker在检索性能上优于其他竞争性基线，特别是在DCG@20指标上，比最接近的竞争者（循环分块：Recursive Chunking）高出7.37%；其它的竞争者分别是：语义分块：Semantic Chunking、段落级：Paragraph-Level、HyDE、命题级：Proposition-Level。

在GutenQA（3000个QA）上使用不同粒度的问题和检索语料库段落的段落检索性能（DCG@k和Recall@k）。每列中的最佳得分以粗体突出显示。

当LumberChunker集成到RAG流程中时，它被证明比其他分割方法和竞争性基线更有效。

LumberChunker不足：

尽管它在性能上优于所有基线，但它需要使用LLM，这使得它在成本和速度上比传统方法更高、更慢。

LumberChunker专门设计用于叙事文本，对于高度结构化的文本，可能不是最优解决方案。

附录：

LumberChunker Gemini Prompt示例，用于书籍《小熊维尼》由A. A.米尔恩著

与表2中的例子不同，表3段落中的代词“He”不能被准确共指，导致命题(propositions)有些模糊。因此，如果用户问到“埃隆·马斯克家族中谁曾经做过牛仔表演者？”这样的问题，一个仅使用命题作为检索单元的模型将无法提供准确的回答。

https://github.com/joaodsmarques/LumberChunkerhttps://arxiv.org/pdf/2406.17526LumberChunker: Long-Form Narrative Document Segmentation

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG框架，都在这了!

2024-06-20

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？

2024-11-06

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

2024-11-05

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

2024-11-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

微软研究院新突破：如何让AI在专业领域更靠谱？

2024-10-25

语义分块真的有效吗？

2024-10-21

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

2024-10-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

微软开源的GraphRAG解读

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG框架，都在这了!

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

企业如何从0到1构建RAG系统？

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

微软研究院新突破：如何让AI在专业领域更靠谱？

语义分块真的有效吗？

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

热门标签