微信扫码
与创始人交个朋友
我要投稿
—1—
什么是 RAG ?
第一、Indexing 索引。即如何更有效地存储知识。
第二、Retrieval 检索。即在庞大的知识库中,如何筛选出少量的有益知识,供大模型参考。
第三、Generation 生成。即如何将用户的提问与检索到的知识相结合,使得大模型能够生成有价值的回答。
这三个步骤表面上看似乎并不复杂,然而在 RAG 从构建到实际部署的整个流程中,包含了众多精细且复杂的工作环节,这些落地细节是最具挑战的工作。
虽然 RAG 架构基本上是按照这些模块来设计的,但不同的实施方案在具体落地时各有其独特之处。
下面详细对比剖析。
—2—
RAG 开源框架架构对比
—3—
开源 RAG 框架的各个模块对比
RAGFlow 的此模块 使用 OCR 和文档布局分析等功能,在标准的 RAG(检索增强生成)系统中通常被归为一个不太显眼的非结构化数据加载器部分。据此推测,RagFlow 的一个关键优势很可能在于其文件解析的能力。
智谱 RAG --:
FastGPT --:
第二、召回模块
QAnything 向量库使用了 Milvus 的混合检索策略(结合 BM25 全文检索和向量检索),在检索过程中不设定任何阈值,直接返回前 100 个最相关的结果(TopK =100)。
RAGFlow 向量数据库选用了 ElasticSearch 进行操作。它实现了文本检索与向量检索的混合模式,尽管未明确指定所用的向量模型,但在文本检索方面,使用了 “huqie” 作为分词工具。
智谱 RAG 混合检索结合语义和全文检索,利用 BGE-M3 向量模型,不直接通过向量或文本检索召回数据,而是使用 RFF 算法进行排序。
FastGPT 文章结构切片和递增索引策略有效解决了问题。四种数据构建方案表现佳:
查询对原文:直接召回知识片段。
查询对查询:便于维护,自动提取查询。
查询对摘要:建立摘要与片段映射。
伪答案对原文:生成伪答案召回片段。
并对 Embedding 模型进行微调。
第三、Rerank 模块
QAnything 精确排序使用自定义的 Rerank 模型,阈值设定为 0.35。
RAGFlow 重排排序结合了文本匹配得分和向量匹配得分,其中文本匹配的默认权重为 0.3,向量匹配的权重为 0.7。
智谱 RAG 支持重排功能,可动态调整设置;整合嵌入向量(Embedding)与全文搜索(FullText)的结果,并按 ID 进行去重处理;对问答(QA)字符串进行拼接,移除其中的空格和标点符号,并对处理后的字符串进行哈希编码以实现去重;若已配置重排序(Rerank)模型,则调用该模型对结果进行重新排序,并在评分(Score)中新增重排序得分;若未配置,则评分中不会包含重排序得分。
FastGPT --:
第四、大模型处理模块
QAnything 将所有数据集合并至一个提示词(Prompt),并对最大 token 长度进行了优化处理。
RAGFlow 对大模型可处理的 token 数量进行限制筛选。
智谱 RAG --。
FastGPT 在模型微调过程中,我们采取了分步骤的策略:起初使用公开可用的通用问答数据集进行初步微调,随后利用特定领域的问答数据进行进一步微调,最终使用经过人工精确标注的高质量问答数据来进行细致的微调。
第五、Web 服务模块
QAnything 利用 Sanic 框架搭建 Web 服务。
RAGFlow 基于 Flask 构建 Web 服务。
智谱 RAG --。
FastGPT --。
第六、切词处理模块
QAnything 利用自定义的 ChineseTextSplitter 完成。
RAGFlow 基于 huqie 完成。
智谱 RAG --。
FastGPT --。
第七、文件存储模块
QAnything --。
RAGFlow MinIO 被选用于文件存储解决方案。。
智谱 RAG --。
FastGPT --。
—4—
RAG 框架总结
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-13
RAGCache:让RAG系统更高效的多级动态缓存新方案
2024-11-13
Glean:企业AI搜索,估值46亿美元,ARR一年翻4倍
2024-11-12
从安装到配置,带你跑通GraphRAG
2024-11-12
蚂蚁 KAG 框架核心功能研读
2024-11-12
【RAG】浅看引入智能信息助理提升大模型处理复杂推理任务的潜力-AssisTRAG
2024-11-12
体验完百度世界2024上的iRAG,我觉得AI绘图也可以没有幻觉了。
2024-11-12
提升RAG文档效率,10种有效策略
2024-11-12
揭秘RAG:全方位解析RAG检索中的意图识别,如何助力智能问答
2024-07-18
2024-07-09
2024-05-05
2024-07-09
2024-05-19
2024-06-20
2024-07-07
2024-07-07
2024-07-08
2024-07-09
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27
2024-10-25
2024-10-21
2024-10-21