微信扫码
与创始人交个朋友
我要投稿
我们已经建立粉丝交流群,后台回进群即可。
最近看到一篇有意思的论文《Is Semantic Chunking Worth the Computational Cost?[1]》,论文探讨了在检索增强型生成(Retrieval-Augmented Generation, RAG)系统中,语义分块(semantic chunking)与传统固定大小分块(fixed-size chunking)的效率和性能比较。
语义分块旨在通过将文档分割成语义上连贯的段落来提高检索性能。尽管语义分块越来越受欢迎,但其相对于固定大小分块的实际好处仍然不清楚。这项研究系统地评估了语义分块的有效性,使用了三个常见的与检索相关的任务:文档检索、证据检索和基于检索的答案生成。
为了测试对比语义分块是否有效,作者设计了 3 种分块策略,如下图所示。
文档检索测试结果如下表所示。大部分场景都没有明显的差距,除了 Miracl 和 NQ。而这些标*的表示这些都是基于一些较短的句子缝合到一起的,本身句子之间具有较强的独立性。
Dataset | Fixed-size | Breakpoint | Clustering |
---|---|---|---|
Miracl* | 69.45 | 81.89 | 67.35 |
NQ* | 43.79 | 63.93 | 41.01 |
Scidocs* | 16.82 | 17.60 | 19.87 |
Scifact* | 35.27 | 36.27 | 35.70 |
BioASQ* | 61.86 | 61.87 | 62.49 |
NFCorpus* | 21.36 | 21.07 | 22.12 |
HotpotQA | 90.59 | 87.37 | 84.79 |
MSMARCO | 93.58 | 92.23 | 93.18 |
ConditionalQA | 68.11 | 64.44 | 65.94 |
Qasper | 90.99 | 89.27 | 90.77 |
证据检索结果如下表所示。在这种测试下,三者几乎不存在差异。
Dataset | Fixed-size | Breakpoint | Clustering |
---|---|---|---|
ExpertQA | 47.11 | 47.08 | 46.87 |
DelucionQA | 43.05 | 43.24 | 43.36 |
TechQA | 28.98 | 28.49 | 27.96 |
ConditionalQA | 18.23 | 19.83 | 19.14 |
Qasper | 8.66 | 8.16 | 8.50 |
基于检索的答案生成测试如下表所示,可以说没有任何区别。
Dataset | Fixed-size | Breakpoint | Clustering |
---|---|---|---|
ExpertQA | 0.65 | 0.65 | 0.65 |
DelucionQA | 0.76 | 0.76 | 0.76 |
TechQA | 0.68 | 0.68 | 0.68 |
ConditionalQA | 0.42 | 0.43 | 0.43 |
Qasper | 0.49 | 0.49 | 0.50 |
研究结果表明,语义分块的计算成本并没有通过一致的性能提升来证明其合理性。这些发现挑战了之前关于语义分块的假设,并强调了在 RAG 系统中需要更有效的分块策略。总体而言,固定大小分块对于实际的 RAG 应用来说仍然是一个更有效和可靠的选择。
关注、点赞、分享,不迷路
Is Semantic Chunking Worth the Computational Cost?: https://arxiv.org/pdf/2410.13070
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-21
AI领域的新突破:混合RAG系统提升复杂推理能力
2024-10-21
o1推理扩展的风吹到了RAG,性能飙升58.9%!
2024-10-21
突破传统RAG局限:GraphRAG如何提升大模型问答能力?
2024-10-20
打造自己的RAG解析大模型:(可商用)智能文档分析解决方案!
2024-10-20
记忆力的本质就是注意力,AI框架带给我的启发,深刻解析记忆的神秘过程
2024-10-20
深度测评 RAG 应用评估框架:指标最全面的 RAGas
2024-10-20
RankRAG:在LLMs中将上下文排序与RAG统一起来
2024-10-19
RAG(Retrieval-Augmented Generation)评测:评估LLM中的幻觉现象
2024-07-18
2024-07-09
2024-07-09
2024-07-08
2024-07-09
2024-07-07
2024-05-05
2024-05-19
2024-06-20
2024-07-07