我要投稿

RB-SQL：利用检索LLM框架处理大型数据库和复杂多表查询的NL2SQL

发布日期：2024-07-19 21:51:09 浏览次数： 1788

NL2SQL的任务是将自然语言问题转换为SQL查询，以便从数据库中获取答案。现有LLM来指导SQL生成的方法在处理大型数据库和复杂多表查询时存在挑战，尤其是在处理冗余信息和提高提示工程效率方面。

(a) 利用大型语言模型（LLM）解决文本到SQL任务的一个示例。(b) DPR模型和提出的RB模型的图表。与DPR模型相比，RB模型将输入从文档扩展到其他数据类型（即表格、列、SQL框架）。

为了解决上述问题，提出了RB-SQL框架，包含三个模块：

Table-Retriever：检索与问题最相关的表格。
Column-Retriever：在检索到的表格中进一步检索相关列。
SQL-Skeleton-Retriever：搜索具有相似SQL骨架的少量示例，并将SQL骨架引入示例组织，以增强上下文学习过程。

RB-SQL框架。表格检索器从数据库中筛选表格，列检索器进一步筛选列。SQL框架检索器用于选择相似的少量示例，并将SQL框架添加到示例组织中。

RB-SQL框架利用密集型段落检索（Dense Passage Retrieval, DPR）模型来检索相关表格、列和示例，以构建有效的提示工程。此外，框架还引入了SQL骨架作为示例组织中的中间步骤，以指导正确的SQL生成过程。

(a) 表格检索器的工作流程。该模块计算问题与表格之间的相似度，并检索与问题高度相关的表格。(b) 表格检索器的框架。使用BERT分别对问题和表格进行编码，并使用基于MaxSim的后期交互来计算相似度得分。

(a) 列检索器的工作流程。该模块检索与问题高度相关的列。(b) 列检索器的框架。

(a) SQL骨架检索器的工作流程。 (b) SQL骨架检索器的框架。

通过在公共数据集BIRD和Spider上的实验，结果表明RB-SQL模型在性能上优于几个竞争基线：GPT-4、DIN-SQL、DAIL-SQL

还进行了消融研究，证明了RB-SQL框架中所有模块对于性能提升都起到了重要作用。

https://arxiv.org/pdf/2407.08273RB-SQL: A Retrieval-based LLM Framework for Text-to-SQLprompt：https://anonymous.4open.science/r/Anonymize-A5E7/prompt_case.txt

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

重磅！Ilya创办人工智能公司SSI：直接迈向安全超级智能

2024-06-20

邮储银行基于大模型技术的智能化测试初探

2024-04-04

2024 年过半，AI 大模型在各行业的落地实践走到哪了？

2024-07-04

在大模型时代，智能化推荐怎么做呢？

2024-04-20

“大模型+数据分析”价值可期，但当前仍存在落地难点

2024-06-21

【万字长文】AI智能体驱动未来商业，深度剖析11种AI Agent商业模式

2024-06-16

行业探索｜AI在法律行业中的创新应用

2024-07-03

大模型在金融领域落地思路与实践

2024-07-04

ChatBI开源实现：AI+BI的产品设计（二）

2024-07-21

万字长文：你必须要读的瑞幸咖啡AI应用战略

2024-06-14

大家都在问

低代码平台与AI融合：企业如何快速实现数字化转型？

2024-09-13

撩一撩AI：智谱清言开启视频对话，解读财务报表，打工人会失业吗？

2024-09-05

大模型时代的工业质检：技术革新与实践探讨

2024-07-29

揭秘: 不懂编程也能驾驭AI,轻松提升工作'战斗力'

2024-07-23

如何在有数BI中实现千人千面的数据推送？

2024-07-19

【数智化人物展】Marketingforce赵旭隆：从数字化到智能化，AI新质生产力是降本增效和创新开拓的最优解

2024-07-09

证券公司如何运用大模型？中信、中金、广发等6家券商实践案例

2024-07-05

2024 年过半，AI 大模型在各行业的落地实践走到哪了？

2024-07-04

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

重磅！Ilya创办人工智能公司SSI：直接迈向安全超级智能

邮储银行基于大模型技术的智能化测试初探

2024 年过半，AI 大模型在各行业的落地实践走到哪了？

在大模型时代，智能化推荐怎么做呢？

“大模型+数据分析”价值可期，但当前仍存在落地难点

【万字长文】AI智能体驱动未来商业，深度剖析11种AI Agent商业模式

行业探索｜AI在法律行业中的创新应用

大模型在金融领域落地思路与实践

ChatBI开源实现：AI+BI的产品设计（二）

万字长文：你必须要读的瑞幸咖啡AI应用战略

大家都在问

低代码平台与AI融合：企业如何快速实现数字化转型？

撩一撩AI：智谱清言开启视频对话，解读财务报表，打工人会失业吗？

大模型时代的工业质检：技术革新与实践探讨

揭秘: 不懂编程也能驾驭AI,轻松提升工作'战斗力'

如何在有数BI中实现千人千面的数据推送？

【数智化人物展】Marketingforce赵旭隆：从数字化到智能化，AI新质生产力是降本增效和创新开拓的最优解

证券公司如何运用大模型？中信、中金、广发等6家券商实践案例

2024 年过半，AI 大模型在各行业的落地实践走到哪了？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

重磅！Ilya创办人工智能公司SSI：直接迈向安全超级智能

邮储银行基于大模型技术的智能化测试初探

2024 年过半，AI 大模型在各行业的落地实践走到哪了？

在大模型时代，智能化推荐怎么做呢？

“大模型+数据分析”价值可期，但当前仍存在落地难点

【万字长文】AI智能体驱动未来商业，深度剖析11种AI Agent商业模式

行业探索｜AI在法律行业中的创新应用

大模型在金融领域落地思路与实践

ChatBI开源实现：AI+BI的产品设计（二）

万字长文：你必须要读的瑞幸咖啡AI应用战略

大家都在问

低代码平台与AI融合：企业如何快速实现数字化转型？

撩一撩AI：智谱清言开启视频对话，解读财务报表，打工人会失业吗？

大模型时代的工业质检：技术革新与实践探讨

揭秘: 不懂编程也能驾驭AI,轻松提升工作&#39;战斗力&#39;

如何在有数BI中实现千人千面的数据推送？

【数智化人物展】Marketingforce赵旭隆：从数字化到智能化，AI新质生产力是降本增效和创新开拓的最优解

证券公司如何运用大模型？中信、中金、广发等6家券商实践案例

2024 年过半，AI 大模型在各行业的落地实践走到哪了？

热门标签

揭秘: 不懂编程也能驾驭AI,轻松提升工作'战斗力'