Recursive Chunking ：这是一种基于层次分隔符将文本分割成单位的方法，它根据预定义的结构将文本分段。这种方法可能缺乏每个块内的足够上下文信息。

Small2Big ：这种方法使用小的文本块进行信息检索，并将其扩展成更大的块，为LLM合成器提供额外的上下文。

Semantic Chunking ：基于句子或段落之间显著的嵌入距离来确定断裂点，确保生成的块保持有意义和连贯。

使用大型语言模型（LLMs）提取文本段：近期的研究利用LLMs提取既上下文连贯又高效的文本段进行检索。例如利用LLM将文档转换成“命题”，这些命题封装了不同的事实，超越了传统的段落或句子级别的分块技术。

LumberChunker：自动识别最佳分割点，通过迭代地将段落输入到LLM中。

in-context retrieval ：这是一种新的RAG系统的上下文检索方法，利用LLM中编码的文档隐藏状态来解码相关段落，无需文档分块。

整合：LGMGC结合了Logits-Guided Chunker和Multi-Granular Chunker的优势，首先利用Logits-Guided Chunker生成的θ大小的父块，然后进一步细分这些父块为不同粒度的子块。

效果：实验结果表明，LGMGC在文档检索和下游问答任务中均优于主流分块方法，显示出其在检索和问答任务中的潜力。

数据集：使用GutenQA数据集，这是一个具有“针堆中找针”类型问题-答案对的基准数据集，来源于叙事书籍。

评估指标：使用DCG@k和Recall@k作为评估指标。

结果处理：由于观察到原始文本中没有直接出现的证据，可能是由于LLM合成生成的基准数据，导致匹配率降低，因此对数据进行了重新标记。对于每个证据，计算其与每个块的ROUGE分数，并选择分数最高的块作为与查询相关的块。

数据集：使用LongBench中的三个单文档QA数据集：NarrativeQA、QasperQA和MultifieldQA。这些任务旨在进行信息提取，而不需要高级推理。

评估指标：使用F1分数作为评估指标，定义如下：

基线方法：与几种已建立的方法进行比较，包括Recursive Chunker和Semantic Chunker。此外，还包括Paragraph-Level Chunker和LumberChunker作为检索任务的进一步基线比较。还包括Multi-Granular Chunker（MG Chunker）和Logits-Guided Chunker（LG Chunker）作为消融研究的基线。

模型和实现细节：使用8位量化的Llama3-8b进行Logits-Guided Chunker和LGMGC的实现。所有策略都在不同的块大小θ（200, 300, 500词）下进行评估，以评估它们对这一超参数的敏感性。

检索任务：Logits-Guided Chunker在不同块大小下一致性地优于Recursive Chunker、Semantic Chunker和Paragraph-Level Chunker，表明其在捕获上下文连贯性和产生独立、集中的语义块方面具有优越能力。LGMGC在考虑文本块的连贯性和不同问题的粒度时，取得了最佳结果。

下游QA任务：LGMGC在所有三个数据集上使用最优块大小时展现出最高的性能，表明其在下游问答任务中相较于当前基线方法具有优越性。