摘要

目前主流的Text2SQL方法，通常局限于能够用关系代数表达的问题上，这仅覆盖了实际用户可能询问的一小部分问题。而检索增强生成（RAG）虽然能处理通过查找数据库中的单个或少数数据记录就能回答的问题，但其能力仍然有限。

为了克服现有方法和基准测试的局限性，本文提出了TAG这一统一且通用的方法论，旨在涵盖语言模型（LMs）与数据库之间未被探索的交互方式。TAG模型旨在利用语言模型的知识和推理能力来处理数据，并为研究如何更好地利用这些能力提供了新的机会。

主要方法

表增强生成（TAG）方法首先定义了三个关键步骤，如下图所示。

1. 查询合成（Query Synthesis）：在这个阶段，系统的任务是从用户的自然语言请求 合成出一个可以在数据库上执行的查询语句 。这个过程需要理解用户意图并将其转换为合适的数据库查询格式。表示为：
2. 查询执行（Query Execution）：查询合成完成后，下一步是执行查询 ，以从数据库中高效地获取相关数据 。这一步骤依赖于后端数据库管理系统来完成。表示为：
3. 答案生成（Answer Generation）：最后一步是生成最终的答案 。在这一步，语言模型（LM）将利用原始请求 和查询结果 ，可能会迭代或递归地处理数据，以生成自然语言形式的答案。表示为：

查询合成

查询执行

答案生成

实验

TAG在精确匹配准确率方面表现优异，达到了40%的准确率，而所有其他基线均未能超过20%的准确率。这表明TAG模型在处理自然语言查询到数据库的问题上具有明显的优势。

Text2SQL基线：表现较差，精确匹配准确率不超过20%，特别是在需要排序的查询上，准确率仅为10%，因为很多排序查询需要对文本进行推理。

Text2SQL + LM生成基线：表现同样不佳，尤其在基于匹配和比较的查询上准确率只有10%，原因是执行SQL后将许多行数据输入模型时出现了上下文长度错误。

RAG基线：未能正确回答任何查询，凸显了其在处理此类查询时的不足。

Retrieval + LM Rank基线：仅在一个比较查询中正确回答了一个问题，总体表现仍然不如其他基线。

TAG：整体上正确回答了55%的查询，在比较查询上达到了65%的精确匹配准确率。除排序查询外，该基线在所有查询类型上都保持了超过50%的准确率。

除了提供更高的准确率，TAG方法还在执行时间上表现出优势，平均每个查询的执行时间为2.94秒，比其他基线快最多3.1倍。对于聚合查询，TAG提供了从1999年至2017年在Sepang国际赛道举行的全部比赛的详尽总结。相比之下，RAG基线只能提供部分相关比赛的信息，而Text2SQL + LM基线则无法利用数据库管理系统中的信息，仅依靠参数知识而不提供进一步的分析。

这里使用了手写TAG，即通过Lotus框架人工写查询进行实验。笔者认为其他方法在复杂问题的准确率较低仍然和Text2SQL准确性有关。所以LLM4DB相关任务中虽然不只Text2SQL，但Text2SQL的准确性仍然是核心问题。