我要投稿

提升NL2SQL准确率的3点建议与实践参考

发布日期：2024-11-07 07:51:01 浏览次数： 1641 来源：沙丘社区

ChatBI通过将复杂的数据分析过程简化为用户与机器的对话，使得用户无需具备专业的数据分析技能，也能轻松获取所需的数据洞察，将极大地降低数据分析门槛，提高数据分析的效率和便捷性。

基于大模型的NL2SQL是当前实现ChatBI的核心技术路线，但也是ChatBI最大的技术难点。当前从企业实践来看，端到端ChatBI产品的准确率最高能够达到85%左右，意图识别、模型微调、NL2SQL取数等多个环节都会造成准确率的折损。具体来看，企业在开发ChatBI时往往会遇到如下挑战：

· 自然语言的不确定性：由于存在歧义和缺少规范，自然语言查询往往含有不确定性，例如词义歧义、句法歧义、信息不足和用户错误；

· 数据库的复杂性和数据的不完整性：数据库架构的复杂性和数据体量的庞大性对NL2SQL任务的有效执行构成了挑战，包括表之间的关系复杂性、列名的相似性、特定领域的架构设计以及海量的“脏数据”；

· NL2SQL转换：不同于将高级编程语言翻译为低级机器语言，NL2SQL任务在输入的自然语言和输出的SQL查询之间通常存在一对多的映射；

· 开发NL2SQL的技术挑战：成本效益、模型性能、SQL转化效率、训练数据、可信度和可靠性等方面都会给NL2SQL的实现带来难题。

通过沙丘智库对业界多家企业ChatBI实践的调研与观察，为了提高NL2SQL的准确率，如下经验值得参考：

第一，澄清用户意图。用户意图理解是ChatBI实现的第一步，直接影响到后续结果，企业需要保证对用户意图识别的准确率，可以通过可视化产品交互的方式允许用户对提问进行二次干预，确保用户传递给大模型的意图是清晰准确的；

第二，升级模型底座。企业应选择参数量更大或能力更强的大模型，模型参数量的扩大对NL2SQL准确率的提升存在明显效果（但需要考虑到成本效率的问题），同时建设数据飞轮，沉淀高质量数据对大模型进行微调也可以持续优化准确率；

第三，完善指标建设。推动底层数据建设的成本较高、周期较长，而数据指标体系可以快速覆盖核心业务场景，且通过对指标的统一建模、管理与消费，可以大幅提升数据口径的一致性。

沙丘智库长期跟踪调研大模型技术的发展，旨在帮助企业快速了解大模型最新、最全面的落地情况。沙丘智库通过研究滴滴、腾讯、招商银行、快手、哈啰出行等5家企业的ChatBI实践，旨在为其他企业的“大模型+数据分析”提供参考。

▎案例1：滴滴基于大模型的ChatBI实践

滴滴内部已落地ChatBI产品，提供指标分析、表分析、代码提效等功能，目前已集成到滴滴多个主要的大数据产品中。

在NL2SQL的准确率提升方面，滴滴主要进行了如下几方面的持续优化：

第一，在分析技术方面，一方面持续升级模型底座，另一方面，持续积累微调数据集，目前已达到数万量级；

第二，在分析对象方面，进行指标标准化建设；

第三，在分析产品方面，进行可信度增强设计。

完整内容：滴滴基于大模型的ChatBI实践

▎案例2：腾讯音乐ChatBI平台建设实践

腾讯音乐通过建设基于大模型的ChatBI平台，实现了用户通过自然语言与数据的交互，无需编写SQL或具备专业分析技能。该平台结合了headless BI和Text-to-SQL技术，优化了数据一致性、提高了Text-to-SQL的可靠性和效率，并通过结合对话式和表单式交互，提升了用户体验。

完整内容：腾讯音乐ChatBI平台建设实践

▎案例3：招商银行基于大模型的数据分析实践

招商银行基于大模型开发DataGPT，提供大模型交互式数据分析问答能力，实现数据查询、图表绘制、深度分析等功能，实现门槛低、成本低、个性化的数据分析目标。

从流程上看：首先，prompt输入中包括用户提问的信息、元数据信息、数据内容以及需要给模型的业务知识；将prompt输入给DataGPT后，对任务进行拆解，针对步骤调用工具，例如代码解释器、深度分析工具、寻求用户帮助等；调用工具执行后将工具分析结果、代码执行结果或用户反馈返回给DataGPT；最终，输出分析报告、数据可视化呈现。

完整内容：招商银行基于大模型的数据分析实践

▎案例4：快手智能化BI产品建设实践

快手以企业级BI能力为复用，结合大模型，实现BI场景的智能化，目前已经在取数、找数、可视化、分析、运营五大场景、10余个小场景完成了BI智能化落地，通过智能化功能显著提高了分析效率，如SQL续写功能使得AI智能化生成并执行的代码数占用户新增代码数的10%，展现了智能化BI产品的实际应用价值。

完整内容：快手智能化BI产品建设实践

▎案例5：哈啰出行大模型业务提效实践

哈啰基于DSL实现BI助手，DSL本身定义了指标、维度、表、查询日期。基于DSL的BI助手生成的稳定性更强，如果不能准确生成相关的报表分析则拒答，目前拒答率是30%，一旦生成准确率接近100%。

完整内容：哈啰出行大模型业务提效实践

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

重磅！Ilya创办人工智能公司SSI：直接迈向安全超级智能

2024-06-20

行业探索｜AI在法律行业中的创新应用

2024-07-03

万字长文：你必须要读的瑞幸咖啡AI应用战略

2024-06-14

API调用大模型如此方便，为何企业还要私有化部署大模型？

2024-06-06

如何利用生成式AI优化制造企业的生产流程？

2024-06-14

“大模型+数据分析”价值可期，但当前仍存在落地难点

2024-06-21

【万字长文】AI智能体驱动未来商业，深度剖析11种AI Agent商业模式

2024-06-16

美团终于上线了AI外卖助手

2024-06-07

ChatBI开源实现：AI+BI的产品设计（二）

2024-07-21

万亿赛道！生成式AI产业落地解决方案深度分析 2024

2024-07-01

大家都在问

如何用用 Parent-Child 分割提升问答系统的准确性？

2024-11-19

如何利用ChatBI和自助分析，实现数据驱动的企业决策？

2024-11-06

对话阿里云 CIO 蒋林泉：AI 时代，企业如何做好智能化系统建设？

2024-10-25

低代码平台如何通过AI赋能，实现更智能的业务自动化？

2024-10-25

对话阿里云 CIO 蒋林泉：AI 时代，企业如何做好智能化系统建设？

2024-10-25

数字孪生如何推动企业架构的迭代与变革？

2024-10-18

日本AI搜索引擎：为什么它能搜出更多？

2024-10-09

大模型能给大数据开发领域带来什么？

2024-10-07

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

重磅！Ilya创办人工智能公司SSI：直接迈向安全超级智能

行业探索｜AI在法律行业中的创新应用

万字长文：你必须要读的瑞幸咖啡AI应用战略

API调用大模型如此方便，为何企业还要私有化部署大模型？

如何利用生成式AI优化制造企业的生产流程？

“大模型+数据分析”价值可期，但当前仍存在落地难点

【万字长文】AI智能体驱动未来商业，深度剖析11种AI Agent商业模式

美团终于上线了AI外卖助手

ChatBI开源实现：AI+BI的产品设计（二）

万亿赛道！生成式AI产业落地解决方案深度分析 2024

大家都在问

如何用用 Parent-Child 分割提升问答系统的准确性？

如何利用ChatBI和自助分析，实现数据驱动的企业决策？

对话阿里云 CIO 蒋林泉：AI 时代，企业如何做好智能化系统建设？

低代码平台如何通过AI赋能，实现更智能的业务自动化？

对话阿里云 CIO 蒋林泉：AI 时代，企业如何做好智能化系统建设？

数字孪生如何推动企业架构的迭代与变革？

日本AI搜索引擎：为什么它能搜出更多？

大模型能给大数据开发领域带来什么？

热门标签