我要投稿

RAG 中你需要知道的 5 种分块技术

发布日期：2024-09-29 18:53:14 浏览次数： 1806 来源：NLP轻松谈

分块在 RAG 应用中的重要性。对于提高 LLM 性能至关重要，能使 RAG 应用更智能、更快速、更高效。

固定大小分块

方法：将文本分割成固定大小的块，不考虑内容的自然断点或结构。
优点：简单、成本效益高。
缺点：缺乏上下文意识。
改进：使用重叠块，让相邻块共享部分内容。

递归分块

方法：先用主要分隔符（如段落）分割，如果块太大，再用次要分隔符（如句子）递归分割。
优点：尊重文档结构，灵活适用于各种场景。

基于文档结构的分块

方法：根据文档的自然分区（如标题或章节）创建块。
优点：对结构化数据（如 HTML、Markdown、代码文件）非常有效。
缺点：对缺乏明确结构的数据效果较差。

语义分块

方法：将文本分成有意义的单位（如句子或段落），向量化后基于余弦距离合并成块。
特点：当检测到明显的上下文转换时形成新块。

基于LLM的分块

方法：使用语言模型生成语义独立的句子或命题作为块。
优点：高度准确。
缺点：计算需求最高。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-03-10

【AI落地应用实战】RAGFlow + 知识图谱 + Deepseek 初步探索

2025-03-10

milvus lite快速实践-了解RAG落地背后的机制

2025-03-09

为什么RAG系统要拥抱向量检索？揭示关键字检索的致命弱点！

2025-03-09

不要盲目再使用DeepSeek R1和QWQ这些推理模型做RAG了

2025-03-07

r1-reasoning-rag：一种新的 RAG 思路

2025-03-05

提高企业 RAG 准确性的分步指南

2025-03-05

DeepSeek-R1 x Agentic RAG：构建带"深度思考"开关的知识研究助理｜深度长文

2025-03-05

通过Milvus内置Sparse-BM25算法进行全文检索并将混合检索应用于RAG系统

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

Graph RAG 迎来记忆革命：“海马体”机制如何提升准确率？

2025-03-05

谷歌放大招！RAG 技术已死？

2025-03-03

知识库对决：知乎、钉钉、腾讯、谷歌，谁更懂你的资料？

2025-03-02

直接拿大模型当搜索页(SERP)会怎样？

2025-02-28

传统RAG的局限被打破！三个轻量级智能体分工协作，如何让问答系统更精准？

2025-02-24

RAG、LangChain、Agent 到底有啥关系？

2025-02-23

解锁AI新技能！揭秘检索增强生成（RAG）：如何让AI更懂你的业务？

2025-02-15

DeepSeek-R1超高幻觉率解析：为何大模型总“胡说八道”？

2025-02-12

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB