导读

一般情况下， 我们使用Text2SQL技术来进行自然语言的查询。不过斯坦福发布的论文和源码介绍了一种能够更加高效地处理复杂BI分析任务的技术：Table Augumented Generation的技术，以便能够更加充分地利用大模型的推理能力， 进行更加复杂的数据分析和处理。

通过阅读本文你能够收获：

1. Table Augumented Generation的原理和示例
   

2. 论文&代码下载

关注公众号，后台发送"TAG"，获取TAG相关论文和源码

Table Augumented Generation

想象一下，你是一名业务分析师，试图理解为什么你公司上个季度的销售额下降了。你用简单的自然语言提出了一个问题来查询你的数据库：“为什么上个季度销售额下降了？”理想的情况是，AI系统立即为你提供一个富有上下文，具有深刻理解和洞见的答案 ， 一些能够将所有相关数据、趋势和市场见解联系在一起的东西。

然而，现实远非理想， 比较骨感。

目前用于查询数据库的AI方法，如Text2SQL和检索增强生成（RAG），存在显著的局限性。这些模型受其设计的限制，要么只将自然语言解释为SQL查询，要么依赖于简单的查找，无法捕捉现实世界问题的复杂性。

为什么这很重要？ 

自然语言查询SQL数据库自从LLMs开始受到关注以来，就成为了新常态！如今的企业淹没在数据中，却渴望洞察。现有方法无法有效利用AI的语义推理和数据库的计算能力，这是使数据真正可操作的一个重要瓶颈。

很明显，我们需要一种新的方法 - 一种能够理解并回答真实用户想要提出的各种问题的方法。

但是在这种情况下使用自然语言也存很多挑战：

• Text2SQL：这种方法旨在将自然语言问题转换为SQL查询。虽然对于像“上个季度的总销售额是多少？”这样的直接问题效果很好，但是当问题需要更复杂的推理或者数据库中没有明确存储的知识时，它就会失败。
  例如，“产品X的哪些客户评论是积极的？”这样的问题需要对文本数据进行情感分析， 这是SQL查询范围之外的能力。    

• 检索增强生成（RAG）：RAG模型试图使用AI从数据库中找到相关的数据记录，但它们局限于点查找，无法处理复杂的计算。当数据量很大或者问题需要对多个数据点进行推理时，它们经常无法提供准确的答案。

考虑一个业务场景，你需要同时了解客户评论、销售数据和市场情绪的趋势。Text2SQL无法处理自由文本数据。

更不用说中间还存在幻觉！RAG在一定程度上解决了这个问题，但是在处理大型数据集时效率低下，该方式可能会提供不准确或不完整的答案，特别是当它没有目标数据库的知识或者无法将用户意图准确地转化为可用的SQL时！

因此，这些方法使大量潜在用户查询无法得到答复，导致了现实世界适用性存在重大的缺口。

那么，什么是表格增强生成（TAG）以及它如何解决其中一些挑战？

表格增强生成（TAG）

TAG 是一种新的增强方法，斯坦福大学和伯克利大学的研究人员提出了这种方法，以解决 Text2SQL 方法的局限性。该方式的工作原理如下：

查询合成：首先，用户的自然语言请求被翻译成可执行的数据库查询。与 Text2SQL 不同，TAG 不仅可以生成 SQL 查询，还可以合成结合多个数据源和类型的复杂查询。

例如，注意研究人员提供的这张图片    

注意用户查询“总结被认为是'经典'的票房最高的爱情电影的评论”

该自然语言已经被翻译为：

WITH CRM AS (SELECT* FROM movies WHERE genre = 'Romance'AND LLM('{movie_title} is a classic') = 'True')SELECT* FROM CRM WHERE revenue = (SELECTMAX(revenue) FROM CRM);

TAG 引入了一个新的 LLM 调用，使用了 LLM('{movie_title} is a classic') = 'True'). 这是“增强”步骤。SQL 查询，或者更具体地说是表检索步骤，已经通过这一步进行了增强，因为表格没有提供有关电影何时被认为是“经典”的上下文信息。

1.查询执行：一旦查询被合成，它就会被执行在数据库中。TAG 利用数据库的计算能力来高效处理大规模数据检索和精确计算，而语言模型往往难以执行。    

2.答案生成：在最后一步中，AI 模型使用检索到的数据生成一个丰富上下文的答案。该模型结合了世界知识、语义推理和基于步骤 1 中增强的领域特定理解，以对用户的问题产生全面的响应。

使 TAG 有效运行的另一个关键组件是LOTUS框架。

LOTUS：TAG 框架

正如我上面提到的，为了使 TAG 起作用，我们需要一个强大的框架，可以将人工智能能力与传统数据库系统无缝集成。这就是 LOTUS（LLMs Over Tables of Unstructured and Structured Data）发挥作用的地方。

LOTUS 旨在弥合大型语言模型（LLMs）的推理能力和数据库的计算能力之间的差距，实现更复杂和有意义的数据查询。

什么是LOTUS?

LOTUS是一个新颖的框架，通过在包含结构化和非结构化数据的表格上实现语义查询，从而增强了TAG的功能。它将LLMs直接集成到数据库查询处理管道中，结合了数据库的高性能数据管理和AI模型的先进推理和自然语言理解的优势。

LOTUS 的主要特点：

1.用于增强 AI 查询的语义操作符： LOTUS 引入了一系列语义操作符 - 基于 AI 的功能，可以使用自然语言处理执行过滤、排名和聚合等任务。例如，LOTUS 查询可能使用语言模型来确定哪些行包含积极情绪或相关实体，而不是传统的 SQL 过滤器，从而为查询带来了全新的复杂性水平。

2.优化的查询执行： LOTUS 构建了一个优化的语义查询执行引擎，可以通过批处理 LLM 操作并将其集成到数据库的本机查询处理中更有效地处理复杂查询。这减少了延迟并提高了性能，使得能够快速回答更复杂的问题成为可能。

3.灵活性和定制化： 该框架允许开发人员构建自定义流水线，将传统的 SQL 操作与先进的 AI 能力相结合。例如，在金融服务用例中，LOTUS 可以实现一个查询，不仅检索历史股票数据，还分析最近的新闻情绪，以提供对潜在未来动向的见解 - 一次性完成。

4.实现 TAG 框架： LOTUS 作为实现 TAG 模型的支撑，支持需要数据库计算和 LLM 推理的多步骤复杂查询。它允许 TAG 框架超越标准的 SQL 或检索增强方法，提供更全面的答案，这些答案既基于数据又基于外部知识。

关注公众号，后台发送"TAG"，获取TAG相关论文和源码