粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
宝子们，2024 年在 nl2sql 技术领域真的杀疯了！高校圈，斯坦福、港科大、港中文、康奈尔大学、北大、清华、人大、浙大等学术大拿们开启“神仙打架”模式，新想法、新架构、新方案跟不要钱似的往外冒，学术界直接原地“百花齐放”，学术迷们谁能不爱？
企业界的巨擘们，像微软、谷歌、阿里、蚂蚁也卷起来了！新产品、新技术、新思路，一个接一个的王炸。从高校的理论塔尖到企业的实干阵地，nl2sql 技术一路“狂飙”，把数据交互和处理的生态格局直接重塑。
企业级的数据管理有它效率起飞，查询数据 so easy；智能分析决策靠它精准导航，这技术简直就是“六边形战士”，潜力大到超乎想象！在数字化浪潮里一路乘风破浪，带着周边领域一路腾飞，技术创新和产业变革的浪潮一波接着一波，这谁顶得住啊！
点关注不迷路
本文主要内容是概述文本到 SQL（NL2SQL）的前世今生、未来发展，旨在为文本生成 SQL 领域添砖加瓦。当前文本转 SQL 的各种技术杂乱无章，造成有需求的场景无法真正达到投产标准，大多都处于一个“玩具”状态，此文希望能给各位带来一些新的思路新的灵感，为大家梳理当前最前沿的技术方向，来助力整个行业的发展。
在此文中，您可以查看 NL2SQL 的最新进展。本手册与我们的调查论文相对应：自然语言到 SQL 的曙光：我们准备好了吗？我们还提供 PPT 来总结本文的要点。根据语言模型的发展趋势，我们创建了 NL2SQL 方法的河流图，以追溯 NL2SQL 领域的演变。
如果您是新手，请不要担心 - 我们为您准备了一份实用指南，涵盖了广泛的基础教程。我们总结了 NL2SQL 相关的应用程序。手把手教你学习最前沿的 NL2SQL 知识。
将用户的自然语言查询（NL）转换为 SQL 查询可以显著降低访问关系数据库的障碍，并支持各种商业应用。随着语言模型（LMs）的出现，NL2SQL 的性能得到了极大提高。在这种情况下，评估当前文本转 SQL 的转款、确定从业者针对特定场景应采用的 NL2SQL 解决方案以及确定研究人员接下来应探索的研究主题至关重要。
模型：NL2SQL 技术不仅解决自然语言的歧义性和不明确性，还能恰当地将自然语言与数据库 schema 和实例进行映射；
数据：来自训练数据的收集，由于训练数据稀缺而进行的数据合成，到 NL2SQL 基准测试；
评估：使用不同的指标和粒度从多个角度评估 NL2SQL 方法；
错误分析：分析 NL2SQL 错误以找到根本原因并指导 NL2SQL 模型发展。
我们将 NL2SQL 的挑战分为五个级别，每个级别都解决特定的障碍。前三个级别涵盖已经或正在解决的挑战，反映了 NL2SQL 的逐步发展。第四级代表了我们在 LLM 阶段要解决的挑战，而第五级则概述了我们对 NL2SQL 系统未来五年的愿景。
我们从语言模型的角度描述了 NL2SQL 解决方案的演变，将其分为四个阶段。 对于 NL2SQL 的每个阶段，我们分析了目标用户的变化以及解决挑战的程度。
我们总结了基于语言模型的 NL2SQL 解决方案的关键模块。
预处理是 NL2SQL 解析过程中对模型输入的增强。
NL2SQL 方法 构成了 NL2SQL 解决方案的核心，负责将输入的自然语言查询转换为 SQL 查询。
后处理 是优化生成的 SQL 查询的关键步骤，可确保它们更准确地满足用户期望。
使用大型语言模型的 NL2SQL 调查：我们在哪里，我们要去哪里？
A Survey of NL2SQL with Large Language Models:Where are we, and where are we going?
这篇论文是关于自然语言到 SQL（NL2SQL）技术的综述，全面探讨了 NL2SQL 在大语言模型（LLM）时代的发展现状、面临的挑战、解决方案、评估方法、错误分析以及未来的研究方向。从架构链接（Schema Linking）、检索（Database Content Retrieval）、信息获取（Additional Information Acquisition）、编码策略（Encoding Strategy）、解码策略（Decoding Strategy）、提示策略（Task-specific Prompt Strategy）、NL2SQL的后处理策略、NL2SQL基准测试、NL2SQL评估与错误分析等几个方面全秒对文本转 SQL 进行了详细的描述。
[1] 论文地址：https://arxiv.org/pdf/2408.05109
[2] 解读：
https://mp.weixin.qq.com/s/GnTOjH82rmJBeIs3msGPCg
【PolyU、暨大】下一代数据库接口：基于大语言模型的文本到 SQL 综述
Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL
在当今数字化时代，数据库在各个领域的信息存储与管理中扮演着核心角色。然而，传统的数据库查询方式要求用户具备专业的SQL知识，这对普通用户构成了较高的门槛。文本到SQL技术的出现，旨在打破这一障碍，允许用户通过自然语言与数据库交互，从而更便捷地获取所需信息。本文将深入探讨基于大语言模型（ LLM ）的文本到SQL技术，包括其技术挑战、发展历程、数据集与评估指标、实现方法以及未来展望，希望能为相关领域的研究人员和从业者提供全面而深入的理解。
[1] 论文地址：https://arxiv.org/pdf/2406.08426
[2] 解读：
https://mp.weixin.qq.com/s/wS9q3P2AmPG-dKhpswMT1A
基于 LLM 的文本到 SQL 生成的综述
Large Language Model Enhanced Text-to-SQL Generation: A Survey
本文对大语言模型增强的文本到 SQL 生成技术展开全景式综述，系统梳理其发展脉络、技术分类、评估体系与研究挑战。传统方法奠定技术根基，从早期模板规则演进至深度学习架构优化；提示工程为模型注入灵活应变能力，零样本快速探索、少样本精准学习、思维链深度推理各擅胜场；微调技术平衡通用与专用，全参数微调追求极致精度、参数高效微调兼顾成本效率；任务训练塑造专业模型，混合专家协同分工、Transformer 架构创新驱动；LLM 智能体框架开启智能协作新纪元，多智能体协同攻克复杂查询难题。评估指标与丰富数据集为技术演进精准导航、提供成长养分，从单域专长培育到跨域复杂挑战，再到增强数据鲁棒性锤炼，全方位推动技术成熟。展望未来，持续深化提示工程策略、创新微调优化路径、拓展智能体协作潜能，将提升模型性能、拓展应用边界，推动文本到 SQL 技术在智能数据交互领域持续创新，深度赋能各行业数字化转型，解锁海量数据潜藏价值，以智能数据语言交互驱动业务创新与决策优化，引领智能时代数据管理与利用新潮流。
[1] 论文地址：https://arxiv.org/pdf/2410.06011
[2] 解读：
https://mp.weixin.qq.com/s/vSBHoDr1gRfm3HJT0h5jcw
【USA 路易斯安那大学】 基于 LLM 的 Text2SQL 回顾
From Natural Language to SQL: Review of LLM-based Text-to-SQL Systems
基于大语言模型的文本到 SQL 系统在自然语言处理与数据库交互领域取得了显著进展，为解决用户数据查询难题提供了有力的解决方案。从早期的 规则-based 方法到如今的 LLM-基于架构，系统在性能、灵活性和适应性方面不断提升。
然而，正如我们在文中详细讨论的，该领域仍面临诸多严峻挑战。从自然语言的复杂性到数据库模式的多样性，从计算效率到伦理隐私，每个方面都需要进一步的研究和创新。未来的研究方向涵盖了技术改进、性能优化、用户体验提升以及伦理规范等多个层面，旨在构建更强大、可靠和智能的文本到 SQL 系统。
通过不懈的努力和持续的创新，我们有信心克服现有障碍，推动文本到 SQL 技术在更广泛领域的深入应用，实现数据查询的智能化、高效化和人性化，为数字时代的数据驱动决策提供坚实的技术支撑。期待在不久的将来，基于LLM的文本到SQL 系统能够在各个行业中发挥更大的作用，为社会的发展和进步贡献更多的价值。
[1] 论文地址：https://arxiv.org/pdf/2410.01066
[2] 解读：
https://mp.weixin.qq.com/s/VFlBol2Puvv_9mTyEblH1g
关于在文本到 SQL 任务中使用大型语言模型的综述
A Survey on Employing Large Language Models for Text-to-SQL Tasks
这篇论文对大型语言模型（LLMs）在文本到 SQL 任务中的应用进行了全面回顾。在这项综述中，首先概述了大型语言模型以及基于大型语言模型的文本到 SQL 任务，并解释了文本到 SQL 生态系统转向大型语言模型的关键原因。在深入探讨该任务的方法之前，提供了总体基准和评估指标，以帮助理解文本到 SQL 的背景。然后，在分类中对基于大型语言模型的文本到 SQL 的两种主要方法（提示工程和微调）进行了全面研究。还比较了不同类型的大型语言模型，并分析了大型语言模型在文本到 SQL 中的趋势。最后，讨论了文本到 SQL 任务的错误分布、实际使用中的一些当前挑战以及基于大型语言模型的文本到 SQL 的未来方向。
[1] 论文地址：https://arxiv.org/pdf/2407.15186
[2] 解读：
https://mp.weixin.qq.com/s/pAKX6G79CfYWj_wh8Ky6TQ
[IEEE] 综述：基于LLM的数据查询与可视化
Natural Language Interfaces for Tabular Data Querying and Visualization:A Survey
这是一篇关于自然语言在表格数据查询和可视化方面的综述。该综述全面概述如何通过自然语言实现表格数据查询和可视化，使用户能够使用自然语言查询与数据进行交互。介绍了可视化背后的基本概念和技术，特别强调了语义解析这一关键技术，它有助于将自然语言转换为 SQL 查询并实现数据可视化。然后深入探讨了 Text-to-SQL 和 Text-to-Vis 问题在数据集、方法、指标和系统设计方面的最新进展，包括深入研究大型语言模型的影响，突出其优势、局限性和未来改进的潜力。通过该综述，旨在为对在大型语言模型时代通过自然语言对数据查询和可视化感兴趣的研究人员和从业者提供路线图。
[1] 论文地址：https://arxiv.org/pdf/2310.17894
[2] 解读：
https://mp.weixin.qq.com/s/EyiUUqZaJKi1DNwwVjdlKA
具有深度学习功能的数据库的自然语言接口
A survey on deep learning approaches for text-to-SQL
随着数据量的爆炸式增长，文本到SQL（text-to-SQL）系统成为数据库领域的研究热点，旨在让用户通过自然语言查询数据库。本文系统梳理了深度学习在text-to-SQL领域的应用，提出一个涵盖六个关键维度（即模式链接、自然语言表示、输入编码、输出解码、神经训练和输出优化）的分类法，全面剖析各维度下的现有方法及其优缺点。文中介绍了如Seq2SQL、SQLNet等多个重要系统，它们在处理text-to-SQL任务时各有创新，例如SQLNet使用查询草图简化问题，RAT-SQL利用关系感知Transformer处理图结构输入等。此外，文章还探讨了该领域面临的挑战，包括基准测试的局限性、系统效率和技术可行性问题、解决方案的通用性、数据增强需求以及与数据民主化相关的问题等，并指出未来研究方向，如创建更具挑战性和多样性的基准测试、优化系统效率、提高解决方案的通用性、有效进行数据增强以及推动数据民主化进程等，为数据库和机器学习社区在text-to-SQL研究领域提供了重要参考。
[1] 论文地址：
https://link.springer.com/content/pdf/10.1007/s00778-022-00776-8.pdf
文本到 SQL 任务综述：进展、方法与展望
Recent Advances in Text-to-SQL: A Survey of What We Have and What We Expect
本论文对文本到 SQL（Text-to-SQL）任务进行了全面综述。核心论点为 Text-to-SQL 虽取得进展，但仍面临诸多挑战，需进一步研究以构建实用系统。
在方法上，数据增强方面，早期用 PPDB 生成释义、收集模板填充，新方法如 Li 等微调 T5 模型预测自然语句，Zhong 等通过生成-转换-过滤流程确保数据质量，Guo 等引入潜在变量鼓励问题多样性，Radhakrishnan 等模拟用户查询行为，Wang 等利用 PCFG 采样组合 SQL 查询。编码部分，有编码词元类型、基于图的方法（如 GNN 编码 DB 模式结构及后续改进）、自注意力机制（如关系感知自注意力）、适配预训练语言模型（如用 BERT 编码及多种调整嵌入方式）和预训练（如 TaBERT 用表格数据预训练）。解码方面，包含树状、草图、自下而上解码，注意力机制及其变体，复制机制（如指针网络及改进），中间表示（如 SemQL 及后续改进）及其他技术（如设置约束、执行引导解码等）。学习技术涵盖完全监督（如主动学习、交互或模仿学习、元学习、多任务学习）和弱监督（如强化学习、利用记忆缓冲区、学习辅助奖励、建模潜在变量）。其他技术涉及数据库链接、模型设计（如模板模型、混合模型、将子模块任务转化为阅读理解任务、优化 Transformer）、SQL 生成（如探索不同动作序列、搜索 DB 值插入查询）和上下文相关处理技术。
评估介绍了常用指标和设置及存在问题。未来方向包括研究领域知识融合、提升模型适应性、开展用户研究、加强多语言支持、整合相关研究及改进评估方法等。
[1] 论文地址：https://arxiv.org/pdf/2208.10099
[2] 解读：
https://mp.weixin.qq.com/s/KK_kP2EvbBbe1YDvnrwYKQ
深入了解文本到 SQL 系统的深度学习方法
A Deep Dive into Deep Learning Approaches for Text-to-SQL Systems
[1] 论文地址：
https://darelab.athenarc.gr/assets/pdf/text2sql_sigmod21.pdf
数据自然语言接口的现状与开放挑战
State of the Art and Open Challenges in Natural Language Interfaces to Data
随着自然语言理解和处理的发展，自然语言数据接口备受关注。本文探讨了自然语言接口在数据处理中的应用，旨在为相关研究和开发提供参考。其核心论点为如何构建有效的自然语言接口，以实现非技术用户对数据的便捷访问与查询，并讨论了面临的挑战。
论文首先介绍了目标受众与大纲，涵盖研究人员、开发者和博士生等。接着从生成查询的复杂性出发，将其分为简单选择查询、聚合查询、涉及多表的查询和复杂商业智能查询四类，并分析了现有自然语言接口系统在各类查询中的能力。
在自然语言查询解释方面，阐述了基于实体、机器学习和混合三种方法，分析了它们的优缺点，如实体方法能处理复杂查询但对用户查询变化敏感，机器学习方法鲁棒性强但处理复杂查询能力有限。
对于扩展到对话的内容，介绍了对话在自然语言查询中的作用，以及构建对话结构的三种方法，包括规则、框架和代理系统，同时指出开发对话系统面临的挑战，如需要大量领域知识和训练样本。
最后提出了开放挑战，包括处理子查询、优化混合方法、开发对话接口、建立基准测试和提高企业适应性等方面，强调了进一步研究的必要性。
[1] 论文地址：
https://darelab.athenarc.gr/assets/pdf/text2sql_sigmod21.pdf
【Google POSTECH】自然语言到SQL：我们今天在哪里？
Natural language to SQL: Where are we today?
{1] 论文地址：https://www.vldb.org/pvldb/vol13/p1737-kim.pdf
【阿里 华科大】RSL-SQL稳健的模式链接用于文本到SQL生成
RSL-SQL: Robust Schema Linking in Text-to-SQL Generation
本文提出 RSL-SQL ，这是一种基于稳健模式链接的文本到 SQL 生成框架。该方法旨在最大化模式链接的正收益并最小化其负面影响。通过双向模式链接生成初步 SQL，利用上下文信息增强来提高正收益，采用二元选择策略减少负面影响，最后使用多轮自校正迭代优化错误的 SQL 语句。实验表明， RSL-SQL 在 BIRD 和 Spider 数据集上取得了优异的性能，执行准确率高且成本效益良好，同时消融研究证实了框架中每个组件的有效性。
{1] 论文地址：https://arxiv.org/pdf/2411.00073
[2] 代码地址：https://github.com/Laqcce-cao/RSL-SQL
[3] 解读：
https://mp.weixin.qq.com/s/nMooGX_UR-XizQ1ZU2zTCg
XiYan-SQL⼀种多⽣成器集成的Text-to-SQL框架
XIYAN-SQL: A MULTI-GENERATOR ENSEMBLE FRAMEWORK FOR TEXT-TO-SQL
文提出了一种用于自然语言到 SQL 转换的多生成器集成框架 ——XiYan-SQL，旨在应对大型语言模型在 NL2SQL 任务中的挑战。该框架融合提示工程与监督微调（SFT）方法，利用 SFT 的可控性与上下文学习（ICL）潜力提升 SQL 查询质量与多样性。引入的 M-Schema 半结构化模式表示法增强数据库理解，其在多模型实验中表现优于传统模式。在模式链接环节精准筛选数据元素；候选生成阶段，微调 SQL 发生器经两阶段训练定制模型，ICL SQL 发生器依骨架相似选例，SQL 精炼器纠错优化；候选选择模块突破传统自一致性局限，训练模型精准抉择。多数据集实验验证 XiYan-SQL 优势，在 Spider、SQL-Eval、NL2GQL 达领先准确率，消融研究证实各组件关键作用，为 NL2SQL 任务开辟新径、引领发展。
{1] 论文地址：https://arxiv.org/pdf/2411.08599v1
[2] 代码地址：
https://github.com/XGenerationLab/XiYan-SQL
[3] 解读：
https://mp.weixin.qq.com/s/6g0GSD_NkFPPsoR2a_mXaA
【复旦】CYCLESQL:基于数据自我解释的NL2SQL框架
Grounding Natural Language to SQL Translation with Data-Based Self-Explanations
本文提出 CYCLESQL 迭代框架，旨在解决 NL2SQL 中现有模型首次尝试时准确率低的问题。它引入基于数据的自然语言解释作为反馈，通过追踪数据来源、丰富语义、生成解释并验证翻译来优化结果。实验表明，CYCLESQL 显著提升了多个模型在多数据集上的翻译准确性，在执行和测试套件准确性方面表现突出，还通过定性评估证明了其解释对用户理解翻译过程有帮助，为 NL2SQL 研究提供了新方向。
{1] 论文地址：https://arxiv.org/pdf/2411.02948
[2] 代码地址：https://github.com/Kaimary/CycleSQL
[3] 解读：
https://mp.weixin.qq.com/s/ob1RQI07vtke96idRfzZnw
【康奈尔大学】利用 Schemonic 优化数据库模式描述以降低大语言模型成本
Generating Succinct Descriptions of Database Schemata for Cost-Eficient Prompting of Large Language Models
本文介绍了 Schemonic 系统，它致力于优化包含关系数据库 schema 的提示，以减少大语言模型的令牌使用数量，进而降低调用开销。通过将 schema 压缩建模为组合优化问题，并利用整数线性规划求解器， Schemonic 能够自动生成简洁且准确的数据库模式描述。实验表明，该系统在显著降低成本的同时，不影响大语言模型在任务（如文本到SQL翻译）中的准确性。这一研究成果为在实际应用中更经济高效地使用大语言模型处理数据库相关任务提供了重要的技术支持，有助于推动人工智能在数据管理领域的进一步发展。
{1] 论文地址：https://www.vldb.org/pvldb/vol17/p3511-trummer.pdf
[2] 代码地址：
https://github.com/itrummer/schemacompression
[3] 解读：
https://mp.weixin.qq.com/s/duQqD_vue3er5krpECnQLA
【华为 哥大】DeTriever：用于改进 NL2SQL 上下文学习的基于解码器表示
的检索器
DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning
本文介绍的DeTriever方法为NL2SQL任务中的示范示例检索提供了一种创新的解决方案。通过学习LLM隐藏状态的加权组合，并使用基于答案相似性的训练目标，该方法在两个基准数据集上取得了显著的性能提升。尽管存在一些局限性，但研究结果为未来的研究提供了有价值的参考。未来的研究可以进一步探索该方法在多shot ICL中的性能，以及如何将其应用到其他下游任务中，并考虑使用更全面的评估指标来衡量模型的性能。
[1] 论文地址：https://arxiv.org/pdf/2406.07913v1
[2] 解读：
https://mp.weixin.qq.com/s/Vgut6yIFugrhrynDGPsKiQ
【HKUST 清华】自然语言到 SQL 的曙光：我们准备好了吗？
The Dawn of Natural Language to SQL: Are We Fully Ready?
本文提出了NL2SQL360评估框架，从多个角度对nl2sql方法进行了评估和分析。通过实验研究得出了一系列关于nl2sql方法性能的新发现，并利用NL2SQL360探索了nl2sql解决方案的设计空间，自动搜索得到了SuperSQL模型。SuperSQL模型在不同的数据集和测试指标上表现出色，为nl2sql任务提供了一种有效的解决方案。同时，本文还指出了未来nl2sql研究的几个方向，包括提高方法的可信度、开发成本效益高的方法和自适应训练数据生成等。这些研究成果为nl2sql领域的进一步发展提供了重要的参考和指导。
{1] 论文地址：https://arxiv.org/pdf/2406.01265
[2] 代码地址：
https://github.com/HKUSTDial/NL2SQL360
[3] 解读：
https://mp.weixin.qq.com/s/BCxFZ2EV1xh-VlYYyR1FgQ
[ 复旦] PURPLE：让大语言模型成为更好的SQL编写者
PURPLE: Making a Large Language Model a Better SQL Writer
{1] 论文地址：https://arxiv.org/pdf/2403.20014v1
[2] 代码地址：https://github.com/httdty/purple
[3] 解读：
https://mp.weixin.qq.com/s/_GwxQ0tODd_me9PctzY8UQ
【华为】SQL-Encoder：通过上下文感知编码器提升 NL2SQL 的上下文学习能力
SQL-Encoder: Improving NL2SQL In-Context Learning Through a Context-Aware Encoder
本论文聚焦于提升大语言模型（LLMs）在自然语言转 SQL（NL2SQL）任务中的上下文学习性能。核心论点为准确衡量查询间结构相似性对选择示例至关重要，当前仅基于自然语言表达评估存在挑战。
论文提出 SQL-Encoder 模型，先构建含 17 万问题对的数据集，标记相似性分数，用于训练预测问题对相似性的交叉编码器模型。模型在输入中整合数据库模式与问题，采用 sigmoid 函数处理 logits 输出，以均方误差为损失函数。
评估阶段，在 Spider 和 BIRD 数据集展开实验，对比不同模型及相似性度量方法。结果显示，该模型在预测相似性得分的肯德尔相关系数和精度指标上表现良好，在选择上下文学习示例时，相比其他方法，如 OpenAI 和 Cohere 的嵌入模型，能提升下游模型性能（如 GPT3.5-turbo 提升 1-2%、CodeLlama-7B 提升 4-8%、CodeLlama-13B 提升 2-3%），尤其在处理复杂查询时优势明显。论文还指出模型采用交叉编码器架构虽在处理大规模问题对时效率较低，但能准确预测 SQL 查询相似性，且研究遵循伦理原则，致力于推动领域知识发展。
{1] 论文地址：https://arxiv.org/pdf/2403.16204v1
[3] 解读：
https://mp.weixin.qq.com/s/1RKIQ_FPiHL7Csg8BoCn3Q
【复旦大学】Metasql：NL2SQL 生成排序框架
Metasql: A Generate-then-Rank Framework for Natural Language to SQL Translation
{1] 论文地址：https://arxiv.org/pdf/2402.17144
CodeS：构建用于文本到 SQL 的开源语言模型
CodeS: Towards Building Open-source Language Models for Text-to-SQL
语言模型在将自然语言问题转换为 SQL 查询（文本到 SQL）的任务中显示出良好的性能。然而，大多数最先进的 （SOTA） 方法都依赖于强大但闭源的大型语言模型（LLM），例如 ChatGPT 和 GPT-4，这些模型可能存在模型架构不明确、数据隐私风险和昂贵的推理开销等局限性。为了解决这些限制，我们引入了 CodeS，这是一系列预先训练的语言模型，参数范围从 1B 到 15B，专为文本到 SQL 任务而设计。CodeS 是一种完全开源的语言模型，它以小得多的参数大小实现了卓越的准确性。实验结果表明，我们的 CodeS 在几乎所有具有挑战性的文本到 SQL 基准测试中都实现了新的 SOTA 准确性和稳健性。
{1] 论文地址：https://arxiv.org/pdf/2402.16347
[2] 代码地址：
https://github.com/RUCKBReasoning/CodeS
[3] 解读：
https://mp.weixin.qq.com/s/nrvcEdXfWFqeQDEKi9Ckkw
【恒生电子】当金融遇上 AI 魔法：FinSQL 点燃数据智能新引擎
FinSQL: Model-Agnostic LLMs-based Text-to-SQL Framework for Financial Analysis
金融分析中Text-to-SQL虽受关注，但缺乏实用数据集且现有方法未考虑金融数据库特性。近期浙江大学和恒生电子联合发表最新研究，提出BULL数据集，含基金、股票、宏观经济相关数据库及Question-SQL对，有中英文版本。还提出 FinSQL框架，含提示构建（混合数据增强与并行模式链接）、参数高效微调（基于 LoRA）和输出校准组件。实验表明FinSQL在BULL数据集上性能卓越，在少样本跨数据库场景表现突出，为金融Text-to-SQL 研究带来新趋势。
{1] 论文地址：https://arxiv.org/pdf/2401.10506
[2] 代码地址：
https://github.com/bigbigwatermalon/FinSQL
[3] 解读：
https://mp.weixin.qq.com/s/uANnZjK8NXc8jxZF0ixLgQ
【阿里】DAIL-SQL：大型语言模型支持的文本到 SQL：基准评估
Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation
本文对基于 LLM 的 Text-to-SQ 任务进行了系统的研究。通过对现有提示工程方法的系统比较，提出了一种新的集成解决方案 DAIL - SQL，该方案在 Spider 排行榜上取得了 86.6% 的执行准确率，刷新了纪录。在问题表示方面，深入研究了不同的表示方法及其组成部分对性能的影响；在上下文学习方面，提出了 DAIL - SQL 的示例选择和组织方法，强调了同时考虑问题和查询的重要性；在监督微调方面，展示了开源 LLMs 在 Text-to-SQ 任务中的潜力，同时也指出了微调后可能出现的问题，如在少样本场景下无法从示例中学习。此外，还强调了标记效率在提示工程中的重要性，并通过实验证明了 DAIL - SQL 在准确性和效率方面的优势。
{1] 论文地址：https://arxiv.org/pdf/2308.15363
[2] 代码地址：https://github.com/BeachWang/DAIL-SQL
[3] 解读：
https://mp.weixin.qq.com/s/M9qFKoKXT5H9J4jwKbNZnQ
[MIT 人大清华 HBKU ] 零样本 NL2SQL 生成
Interleaving Pre-Trained Language Models and Large Language Models for Zero-Shot NL2SQL Generation
本文提出了 ZeroNL2SQL 框架，通过交错可调的 PLM 和固定的 LLM，有效地解决了零样本 NL2SQL 生成的问题。该框架由 SQL Sketch Generation 和 SQL Query Completion 两个模块组成，分别利用 PLMs 和 LLMs 的优势，克服了各自的局限性。通过在 Dr.Spider 和 KaggleDBQA 等基准上的广泛实验，证明了 ZeroNL2SQL 框架在零样本 NL2SQL 性能上优于现有的基于 PLM 和基于 LLM 的方法。这一成果为 NL2SQL 领域的研究提供了新的思路和方法，有助于推动该领域在实际应用中的发展，使非技术用户能够更方便、准确地通过自然语言与数据库进行交互。具体而言，ZeroNL2SQL 在执行准确性方面比最先进的基于 PLM 的方法高出 3.2%至 13%，比基于 LLM 的方法高出 10%至 20%。
{1] 论文地址：https://arxiv.org/pdf/2306.08891
[2] 代码地址：
https://github.com/bigbigwatermalon/FinSQL
[3] 解读：
https://mp.weixin.qq.com/s/uANnZjK8NXc8jxZF0ixLgQ
我们创建基准发展时间表并标记相关里程碑。您可以从本章获得更多详细信息：
? Benchmark
? 解决开放的自然语言转 SQL 问题
? 开发经济高效的 NL2SQL 方法
? 让 NL2SQL 解决方案值得信赖
? 实现即使是模糊和未明确的问题也能通过 NL2SQL 生成 SQL 查询语句
? 自适应训练数据合成
您可以从我们的小节获取更多信息。我们介绍有关相关概念的代表性论文：
预处理
NL2SQL 翻译方法
后处理
基准
评估
错误分析
· 我们为您收集 NL2SQL 基准测试功能和下载链
接。您可以从本章获得更多详细信息：
Benchmark
· 目录中提供了 benchmarks 的分析代码。基准
分析报告可以在 Directory 中找到。
src/dataset_analysisreport/
· Litgpt
· 此存储库提供对 20 多个高性能大型语言模型
（LLM） 的访问，其中包含用于预训 练、微调
和大规模部署的全面指南。它旨在对初学者友
好，从头开始实现，没有复杂的抽象。
· LLaMA-Factory 对 100+ LLM 进行统一、高
效的微调。将各种模型与可扩展的训练资源、
高级算法、实用技巧和全面的实验监控工具集
成在一起，这种设置可以通过优化的 API 和
UI 实现高效、快速的推理。
· SWIFT 是魔搭社区提供的大模型与多模态大
模型微调部署框架，现已支持450+大模型与
150+多模态大模型的训练（预训练、微调、人
类对齐）、推理、评测、量化与部署
· BIRD-SQL 基准测试的微调和上下文学习
BIRD-SQL 基准测试提供了 Fine-tuning 和
In-Context Learning 的教程。
· Spider2 基准测试与评估 Spider2 以及排行
榜：Spider 1.0
Spider 2.0：评估真实企业文本到 SQL 工作流
中的语言模型
我们为您收集 NL2SQL 评估指标。您可以从本章中获得更多详细信息：评估
· NLSQL360 存储库链接
NL2SQL360 是一个用于对 NL2SQL 解决方案进行精细评估的测试平台。我们的测试平台集成了现有的 NL2SQL 基准测试、NL2SQL 模型存储库和各种评估指标，旨在提供一个直观且用户友好的平台，以实现标准和自定义性能评估。
· Test-suite-sql-eval 存储库链接
此存储库包含 11 个文本到 SQL 任务的测试套件评估指标。它现在是 Spider、SParC和 CoSQL
的官方指标，现在也可用于学术、ATIS、咨询、地理、IMDB、餐厅、学者和Yelp（建立在
Catherine 和 Jonathan 的出色工作之上）。
· BIRD-SQL-Official 仓库链接
它现在是 BIRD-SQL 的官方工具。它是第一个提出 VES 并提供官方测试套件的工具。
您可以从 路线图 和 决策流程 中获得一些灵感。
Chat2DB 是一个智能的通用 SQL 客户端和数据报表工具，它集成了 AI 的能力。Chat2DB 可以帮助您更快地编写SQL查询、管理数据库、生成报告、探索数据、并且可以与多种数据库进行交互。Chat2DB是一个开源项目。
1. 智能生成SQL：Chat2DB Pro支持AI驱动的智能SQL开发，可以帮助您更快地编写SQL查询。
2. 数据库管理：支持多种10+数据库，包括MySQL、PostgreSQL、H2、Oracle、DB2、
SQLServer、SQLite、MariaDB、Presto、
ClickHouse、DM、OceanBase、Hive、KingBase、MongoDB、Redis、Snowflake等。
3. 智能生成报表： Chat2DB Pro支持AI驱动的智能数据报表，可以帮助您更快地生成看板。
4. 数据结构同步：Chat2DB Pro支持数据库表结构同步，可以帮助您更快地同步数据库表结构。
功能 | 社区开源版 | Local版(收费) | Pro版(收费) |
数据库类型 | 16+ | 目标100+ | 目标100+ |
支持的 AI | 需要配置AI | 安装即可使用AI | 安装即可使用AI |
AI 能力 | 简单 | 多样 | 多样 |
可视化编辑表 | ✅ | ✅ | ✅ |
SQL控制台 | ✅ | ✅ | ✅ |
SQL格式化 | ✅ | ✅ | ✅ |
保存查询记录 | ✅ | ✅ | ✅ |
主题颜色设置 | ✅ | ✅ | ✅ |
数据结构同步 | ❌ | ✅ | ✅ |
数据库分组 | ❌ | ✅ | ✅ |
数据库结构导入导出 | ❌ | ✅ | ✅ |
数据导入导出 | ❌ | ✅ | ✅ |
数据迁移 | ❌ | ✅ | ✅ |
复制/清空表 | ❌ | ✅ | ✅ |
打开运行SQL文件 | ❌ | ✅ | ✅ |
UML图 | ❌ | 开发中 | 开发中 |
生成代码 | ❌ | ✅ | ✅ |
复制结果为 Insert/update | ❌ | ✅ | ✅ |
修改查询结果 | ❌ | ✅ | ✅ |
智能SQL编辑器 | ❌ | ✅ | ✅ |
AI建表 | ❌ | ✅ | ✅ |
AI数据集 | ❌ | ✅ | ✅ |
Chat2Excel | ❌ | ✅ | ✅ |
智能看板 | ❌ | ✅ | ✅ |
编辑器设置 | ❌ | ✅ | ✅ |
自定义快捷键 | ❌ | ✅ | ✅ |
跨多设备使用 | ❌ | ❌ | ✅ |
{1] 官网地址：https://chat2db-ai.com/
[2] 代码地址：https://github.com/CodePhiliaX/Chat2DB/
简要介绍
?️ DB-GPT 是一个开源的AI原生数据应用开发框架（AI Native Data App Development framework with AWEL（Agentic Workflow Expression Language） and Agents）。
目的是构建大模型领域的基础设施，通过开发多模型管理（SMMF）、Text2SQL 效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL（智能体工作流编排）等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。
? 数据3.0 时代，基于模型、数据库，企业/开发者可以用更少的代码搭建自己的专属应用。
RAG：RAG是当下落地实践最多，也是最迫切的领域，DB-GPT 目前已经实现了一套基于RAG的框架，用户可以基于DB-GPT的RAG能力构建知识类应用。
GBI：生成式BI是DB-GPT项目的核心能力之一，为构建企业报表分析、业务洞察提供基础的数智化技术保障。
微调框架：模型微调是任何一个企业在垂直、细分领域落地不可或缺的能力，DB-GPT提供了完整的微调框架，实现与DB-GPT项目的无缝打通，在最近的微调中，基于spider的准确率已经做到了82.5%
数据驱动的Multi-Agents框架： DB-GPT提供了数据驱动的自进化Multi-Agents框架，目标是可以持续基于数据做决策与执行。
数据工厂： 数据工厂主要是在大模型时代，做可信知识、数据的清洗加工。
数据源： 对接各类数据源，实现生产业务数据无缝对接到DB-GPT核心能力。
{1] 官网地址：https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx
[2] 代码地址：https://github.com/eosphoros-ai/DB-GPT
[3] 论文地址：https://arxiv.org/pdf/2312.17449
具有 AI 帮助的浏览器内 Postgres 沙箱。
使用 database.build，您可以立即启动无限数量的 Postgres 数据库，这些数据库可以直接在浏览器中运行（很快，可以将它们部署到 S3）。每个数据库都与一个大型语言模型 （LLM） 配对，这为一些有趣的用例打开了大门：
拖放式 CSV 导入（动态生成表）
生成和导出报告
生成图表
构建数据库图
{1] 官网地址：https://database.build/
[2] 代码地址：
https://github.com/supabase-community/database-build
简要介绍
析言GBI是基于阿里云通义大语言模型在数据分析领域专门增强的原生数据助理，通过自然语言交互实现NL2SQL、数据问答、分析、洞察等多维度的大模型智能分析应用，适用于业务变化较快、数据分析时效性强的一线业务场景。
{1] 官网地址：
https://help.aliyun.com/zh/model-studio/user-guide/brief-introduction-of-gbi-products
[2] 代码地址：
https://github.com/XGenerationLab/XiYan-SQL
简要介绍
Vanna 是 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。
Vanna 通过两个简单的步骤工作 - 在您的数据上训练 RAG“模型”，然后提出问题，这些问题将返回 SQL 查询，这些查询可以设置为在您的数据库上自动运行。
1.在您的数据上训练 RAG“模型”。
2.提出问题。
{1] 官网地址：https://vanna.ai/
[2] 代码地址：https://github.com/vanna-ai/vanna
[3] 文档地址：https://vanna.ai/docs/
金融垂类大模型。恒生聚源发布大模型产品 WarrenQ2.0，一个账号同时体验“大模型能力+AI工具+金融数据”
WarrenQ 2.0 具备更广泛的金融数据覆盖能力和更强的金融投研大模型基座，进一步深度融入金融业务场景。在Chat、ChatMiner、AI写作三大经典功能上提升整体的精准度和完成度，同时推出大模型赋能的 会议助手、脱水研报、政策比对 三大新功能，大幅提升投研效率。
1、信息收集：海量金融数据汇聚，多端会议助手辅助整理
Chat：准确回答实时行情、法律法规、诚信数据，复杂任务也能轻松解决
会议助手：AI机器人智能参会，5场3小时会议，预估10分钟知晓要点；研究员的会议分身，多场会议，同时参加，完成总结
2、比对分析：行业标的观点全景掌控，政策比对报告分析
脱水研报：一图把握市场热点，AI汇总市场机构观点；数据预判与评级情况一目了然
政策比对；网罗全球关键政策，掌握宏观动态；全球核心政策，AI智能提炼不同期的变化对比，支持溯源查证。
3、写作汇报：大模型生成指定报告内容，文档/脑图/ppt汇报一键切换
AI写作：万字报告5分钟生成，包含整体逻辑框架+分段撰写
基于大模型辅助生成文案框架和内容，添加活数据指标，一键切换脑图/文档/markdown/ppt演示模式
目前，WarrenQ 已与多家基金、证券等金融机构达成共建探索合作，未来将进一步与各类金融机构探索“大模型+AI 工具+金融数据”的智能投研模式，持续为金融机构相关从业人员人士提供智能化的数据分析和交互技术，提升工作效率
{1] 官网地址：https://www.warrenq.cn/
[2] 代码地址：
https://github.com/bigbigwatermalon/FinSQL
为了让不熟悉 SQL 语言的用户能方便地从数据库中取数分析，PolarDB for AI 推出自研的基于大语言模型的自然语言到数据库查询语言转义（Large Language Model based Nature Language to SQL，简称LLM-based NL2SQL）解决方案，PolarDB for A I会帮助用户将输入的自然语言转换为 SQL 语句。和传统 NL2SQL 的方法相比，LLM-based NL2SQL在语言理解方面会更强大，生成的 SQL 语句中能支持更多的函数，如日期加减等。LLM-based NL2SQL 甚至能够理解一些简单的映射关系，如有效->isValid=1等。经过适当调整后还能理解用户的一些常用 SQL 搭配，如条件中默认选用datastatus=1等。
PolarDB for AI 可用于如下行业场景：
ID-Mapping
ID-Mapping 通常适用于平台性的客户，如游戏和电商等。以游戏平台为例，某些游戏平台中的同一个用户可能会有多个游戏账号，这些账号散落在各种游戏或平台本身的数据库中，并没有对账号进行融合。基础数据建设不完善会带来各种问题，例如做精准营销时不能精准定位同一个用户，导致流量在跨渠道使用时效率较低。采用机器学习模型则会将账号统一，不但提高了基础数据质量，而且还为上游业务提供了优质的数据。
问答机器人
问答机器人基于数据库中的内容。根据用户的业务场景，结合 AI 能力（对话控制、机器学习、自然语言理解等），打造适合企业的对话服务。问答机器人可以实现7×24小时在线服务，能帮助企业接待更多客户、提升客户满意度、提高工作效率和降低运营成本。是企业进行在线咨询、在线营销和在线服务的好帮手。
搜索推荐
在传统的数据库中，用户的搜索能力通常基于数据库固有的全文检索能力，不支持自然语言类的检索需求（如语义检索、同义词匹配等）。采用 PolarDB for AI 中成熟的搜索解决方案，可以大幅度提升搜索的精确性。
基于 PolarDB for AI 的智能推荐算法和知识图谱技术，再结合阿里巴巴电商策略，为企业提供贯穿推荐能力的一站式服务，助力企业快速过渡冷启动过程。面向不同的业务场景定制个性化解决方案，持续提升核心业务能力，以实现业务营收增长。
PolarDB for AI 支持 PolarDB 内置的模型创建和模型推理等 MLOps，无缝兼容 MySQL 语句，提供达摩院加持的行业智能算法服务，避免数据在两个甚至多个系统间转换和迁移，从而降低数据智能应用的开发成本，加速数据价值业务变现。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-06-20
2024-06-14
2024-07-03
2024-06-16
2024-10-09
2024-06-14
2024-10-14
2024-06-06
2024-06-21
2024-07-24
2025-01-07
2025-01-02
2024-12-25
2024-12-25
2024-12-13
2024-11-19
2024-11-06
2024-10-25
回到顶部