我要投稿

FastRAG：高效半结构化数据处理新范式，轻松提升检索生成效率

发布日期：2024-12-03 19:34:43 浏览次数： 2527

作者：AI 搜索引擎

微信搜一搜，关注“AI 搜索引擎”

今天分享的是一种针对半结构化数据处理的 RAG 方法：FastRAG。

论文链接: https://arxiv.org/abs/2411.13773

01

简介

随着网络规模的不断扩大和数据量的激增，对网络数据的处理和理解变得越来越困难。传统的网络管理工具在处理半结构化数据（如日志和配置文件）时效率低下，难以全面提取和利用其中蕴含的信息。现有的大型语言模型（LLM）结合检索增强生成（RAG）技术，如VectorRAG和GraphRAG，虽然在上下文处理方面有所突破，但在处理半结构化网络数据时仍存在效率低下、成本高昂和检索不准确等问题。

为解决上述问题，本文提出了FastRAG，一种针对半结构化数据的新型RAG方法。FastRAG通过模式学习和脚本学习高效提取和构建数据结构，避免了对完整数据源的逐块处理。同时，设计分块采样算法来选择适合提示的分块，优化了数据处理的时间和成本。此外，该方法结合文本检索与知识图谱查询（通过图查询语言GQL）的方法，显著提高了上下文信息的检索精度。

实验表明，FastRAG在问答任务中表现优异，与GraphRAG相比，处理时间减少了90%，成本降低了85%，同时检索准确性也得到了增强。

02

方法

1. 分块采样（Chunk sampling）

分块采样通过选择具有代表性的文本片段（chunk）来减少 LLM 的使用量，从而降低处理时间和成本。分块采样的步骤如下：

数据预处理：对源数据进行预处理，例如去除无关字符、分词等。
关键词提取：使用 K-means 聚类算法将预处理后的数据分割成多个聚类，并选择每个聚类中与质心最近的个词作为关键词。关键词代表了文本中的重要信息。
样本选择：

计算 TF-IDF 向量：对每个聚类中的文本计算 TF-IDF 向量，用于评估每个文本的重要性。
计算熵值：计算每个文本的熵值，用于评估每个文本的多样性。
选择样本：选择包含所有关键词且熵值最大的个文本作为样本。样本选择算法旨在选择具有代表性的文本，涵盖源数据的语法特征。

2. 模式学习（Schema learning）

模式学习利用 LLM 生成 JSON 模式，描述源数据中的实体类型和属性，从而将半结构化数据结构化。模式学习的步骤如下：

生成模式：将样本文本提交给 LLM，生成初始的 JSON 模式。
评估模式：使用 LLM 评估生成的模式的质量，例如是否包含所有实体类型、属性描述是否准确等。
修改模式：根据评估结果修改模式，例如添加或删除实体类型、修改属性描述等。
重复迭代：重复执行生成模式、评估模式和修改模式的步骤，直到获得最佳结构。

3. 脚本学习（Script learning）

脚本学习利用 LLM 生成 Python 代码，将源数据解析为结构化数据，并映射每个实体到原始文本中的具体行。脚本学习的步骤如下：

生成代码：将源数据样本提交给 LLM，生成初始的解析代码。
评估代码：使用 LLM 评估生成的代码的质量，例如是否能够正确解析源数据、是否能够生成结构化数据等。
修改代码：根据评估结果修改代码，例如修复解析错误、改进代码结构等。
重复迭代：重复执行生成代码、评估代码和修改代码的步骤，直到获得最佳解析效果。

4. 信息检索（Information Retrieval）

信息检索利用知识图谱和文本搜索技术，根据用户的查询信息从结构化数据中检索相关信息。信息检索的步骤如下：

知识图谱构建：

实体节点创建：在JSON对象中识别的每个实体都作为一个节点插入到KG中，实体类型作为节点的标签。
属性节点创建：实体的简单类型属性直接作为节点的属性赋值，而属性本身为对象的，则作为子节点插入，并与其父节点连接。
文本节点创建：对于每个实体的输入数据属性中的每一行，都创建一个相应的节点，并链接到父实体节点。这些输入数据节点将用于利用NLP方法进行文本搜索。

检索策略：提供多种检索策略，包括：

图查询：使用 LLM 生成 GQL 语句，从知识图谱中检索相关信息。
文本搜索：使用 LLM 生成一个仅利用文本搜索功能的 GQL 语句，利用文本搜索功能检索相关信息。
混合查询：同时执行图查询和文本搜索，并将结果合并生成最终答案。
Hybrid 查询：结合了KG查询和文本搜索的能力，指示LLM生成一个能够利用两种方法的任何相关功能的GQL语句。

03

总结

FastRAG 是一种针对半结构化数据的高效处理方法，通过模式学习、脚本学习和信息检索的结合，克服了传统 RAG 方法在半结构化数据上应用的局限性。其自动化、灵活性和高效性使得它在处理大规模、不断更新的网络数据时具有显著的优势。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-23

为什么Claude Code不用RAG？

2025-12-22

图索引性能提升 400%：详解 VSAG 向量检索框架

2025-12-22

告别关键词高亮，语义高亮才是解决搜索 / Agent噪音的标准答案

2025-12-22

让RAG像人类一样“扫视全文”：上下文检索技术详解

2025-12-22

Uber 如何利用 OpenSearch 实现十亿级向量搜索

2025-12-22

别让大模型在“垃圾堆”里找金子：深度解析 RAG 的上下文压缩技术

2025-12-21

终于，NotebookLM 和 Gemini 合体了。这是什么神之更新？

2025-12-21

Cohere 推出 Rerank 4，将上下文窗口从 8K 扩展至 32K，以交叉编码器架构强化长文档语义理解与跨段落关联捕捉

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

企业级 RAG 系统实战（2万+文档）：10 个项目踩过的坑（附代码工程示例）

2025-10-11

Embedding与Rerank：90%的RAG系统都搞错了！为什么单靠向量检索会毁了你的AI应用？

2025-10-04

存算一体破局向量检索瓶颈，IBM放出王炸VSM：性能飙升100倍，能效碾压GPU千倍，RAG要变天？

2025-09-30

总结了 13 个顶级 RAG 技术

2025-10-12

RAG 深度解读：检索增强生成如何改变人工智能

2025-12-04

大模型生态的“不可能三角”：规模化应用的架构困境？

2025-11-04

RAGFlow 深度介绍

2025-10-31

RAGFlow v0.22.0 发布：数据源同步、变量聚合、全新管理界面与多项重大更新

2025-11-13

任何格式RAG数据实现秒级转换！彻底解决RAG系统中最令人头疼的数据准备环节

2025-10-12

大模型RAG入门宝典｜从AI搜索到实战搭建，小白&程序员必收藏的检索增强指南

2025-12-03

大家都在问

为什么Claude Code不用RAG？

2025-12-23

终于，NotebookLM 和 Gemini 合体了。这是什么神之更新？

2025-12-21

Apple 入局 RAG：深度解析 CLaRa 框架，如何实现 128x 文档语义压缩？

2025-12-10

RAG知识库迎来大洗牌：GraphRAG如何让机器真正读懂世界？

2025-11-23

再谈RAG的文档解析——文档解析的难点在哪里？

2025-11-20

为什么RDF是AI系统的“天然知识层”？

2025-11-19

大模型生态的“不可能三角”：规模化应用的架构困境？

2025-11-04

Embedding与Rerank：90%的RAG系统都搞错了！为什么单靠向量检索会毁了你的AI应用？

2025-10-04

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部