我要投稿

T-RAG=RAG+微调+实体识别

发布日期：2024-03-28 21:58:16 浏览次数： 1833

T-RAG技术将 RAG 架构与开源的微调语言模型 (LLM) 和实体树向量数据库相结合的基础之上，用于支持语境检索。

背景介绍

大型语言模型 (LLM) 在各个领域得到越来越广泛的应用，尤其在使用私有企业文档的问答场景中。但由于数据安全性和模型稳定性至关重要，定制化成为必然。

本文分享了针对企业私有文档、使用 Tree-RAG (T-RAG) 系统部署 LLM 问答应用的经验。

这种方法集成了实体层级信息以获取更优异的表现，而评估结果验证了它的有效性。这些经验对于将 LLM 落地到实际应用中具有实际指导意义。

数据隐私

由于文档的敏感性，安全风险成为首要考虑。为避免数据泄露，使用公有 API 调用私有 LLM 模型的方法变得行不通。这就需要使用可以部署在内部的开源模型。此外，有限的计算资源和基于现有文档建立的小型训练数据集都会带来相应的挑战。

如何在这样的环境下确保对用户问询提供可靠、准确的响应，就需要大量的定制化工作，进而衍生出了一系列复杂的考量因素。

技术亮点

这项研究的价值在于，他们提出了一种结合检索增强生成 (RAG) 方法和基于企业文档数据集微调的开源 LLM 模型的应用。

此外，本研究还提出了一个新的评估指标，称为“Correct-Verbose”。旨在评估所生成回复的质量。该指标既考察答复的正确性，也兼顾答案是否涵盖了问题范围之外的其他相关信息。

T-RAG

Tree-RAG (T-RAG) 的工作流程如下...

在面对用户的问题时，系统先从向量数据库中搜索相关的文档片段用作 LLM 的背景知识。

如果查询中提到了任何与组织相关的实体，系统将从实体树中提取关于这些实体的信息并添加到背景知识中。随后，经过微调的 Llama-27B 模型会根据已呈现的信息生成答复。

实体树

T-RAG 的一个显著特点是在向量数据库之外引入了实体树 (entities tree) 来辅助语境检索。这个实体树中储存了与企业组织相关实体的详细信息以及它们的层级结构。树中的每个节点都代表一个实体，父节点表明该实体所属的组别。

在检索过程中，T-RAG 可以利用实体树来增强从向量数据库中检索到的语境信息。实体树的查询和语境生成过程如下：

首先，一个解析器模块会在用户的查询中扫描与组织内部实体名称相对应的关键字。
如果识别出一个或多个匹配项，会从实体树中提取关于每个匹配实体的详细信息。
这些细节被转化为文本语句，提供关于该实体及其在组织层级结构中位置的信息。
随后，这些信息会与从向量数据库中检索到的文档块相结合，以构建最终的语境。
通过这种方法，当用户提出关于特定实体的问题时，模型可以获取有关这些实体及其在组织中的层级位置的结构化知识。

结合上图，我们用一个组织结构图中的实例来直观说明语境生成过程中的树搜索和检索过程。

除了获取相关的背景文档，系统还使用 spaCy 库以及自定义规则识别出组织内的命名实体。
如果查询中包含一个或多个这样的实体，那么系统会从实体树中提取出关于该实体层级位置的相关信息，并将其转化为文本语句。
这些语句随后与检索到的文档一起被整合为最终的语境。
值得注意的是，如果用户的查询中没有提及任何实体，那么系统将会跳过树搜索步骤，仅使用从检索文档中获取的语境。

总结

这项研究具有一定的启发性，因为它将 RAG 方法、模型微调与实体识别相结合。一方面，通过使用内部部署的开源模型来解决数据隐私问题；另一方面，有效地降低了推理延迟、token 使用成本，同时也兼顾了不同地区的用户需求。

此外，研究中采用了 spaCy 框架进行实体搜索和语境生成，这一方法也很有借鉴意义。而最重要的是，这不仅仅是一项理论研究，更是基于构建实际 LLM 应用的经验总结，具有很高的实践价值。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

千万别用可灵AI复活老照片！

2024-06-24

可灵AI的网页版上线了

2024-07-07

一个叫李星玮的上海交大博士火了！GPT4-o通过数据分析出他100%的渣男属性！

2024-06-06

重磅！Ilya创办人工智能公司SSI：直接迈向安全超级智能

2024-06-20

Text2SQL新体验 — 腾讯音乐开源的ChatBI框架

2024-06-17

万字长文：人人都能学会的提示词，揭秘18个prompt模版，8个秘诀，助你AIGC从入门到精通，从可用到好用

2024-04-02

2024中国“大模型+智能客服”最佳实践案例TOP10重磅发布

2024-05-08

苹果Mac用户的福音：本地运行Meta Llama 3的终极指南

2024-04-27

超全总结！大模型算法岗面试真题来了！

2024-04-02

xinference + dify + ollama 构建本地知识库

2024-05-08

大家都在问

聊天机器人与对话式人工智能：有什么区别？

2024-09-17

这届的AI故事，还能讲多久？

2024-09-14

雀巢AI创新案例分析：如何通过AI革命性提升内容生产力？

2024-09-14

低代码平台与AI融合：企业如何快速实现数字化转型？

2024-09-13

阿里面试官问：Self-Attention 的时间复杂度/空间复杂度是怎么计算的?

2024-09-12

AI如何用在市场营销上？

2024-09-11

10亿Agents，Salesforce的回春丹？

2024-09-10

如何让一线制造员工也能用上大模型？