作者|沙丘智库研究团队
来源|沙丘社区(www.shaqiu.cn)
ChatBI通过将复杂的数据分析过程简化为用户与机器的对话,使得用户无需具备专业的数据分析技能,也能轻松获取所需的数据洞察,将极大地降低数据分析门槛,提高数据分析的效率和便捷性。基于大模型的NL2SQL是当前实现ChatBI的核心技术路线,但也是ChatBI最大的技术难点。当前从企业实践来看,端到端ChatBI产品的准确率最高能够达到85%左右,意图识别、模型微调、NL2SQL取数等多个环节都会造成准确率的折损。具体来看,企业在开发ChatBI时往往会遇到如下挑战:· 自然语言的不确定性:由于存在歧义和缺少规范,自然语言查询往往含有不确定性,例如词义歧义、句法歧义、信息不足和用户错误;· 数据库的复杂性和数据的不完整性:数据库架构的复杂性和数据体量的庞大性对NL2SQL任务的有效执行构成了挑战,包括表之间的关系复杂性、列名的相似性、特定领域的架构设计以及海量的“脏数据”;· NL2SQL转换:不同于将高级编程语言翻译为低级机器语言,NL2SQL任务在输入的自然语言和输出的SQL查询之间通常存在一对多的映射;· 开发NL2SQL的技术挑战:成本效益、模型性能、SQL转化效率、训练数据、可信度和可靠性等方面都会给NL2SQL的实现带来难题。通过沙丘智库对业界多家企业ChatBI实践的调研与观察,为了提高NL2SQL的准确率,如下经验值得参考:第一,澄清用户意图。用户意图理解是ChatBI实现的第一步,直接影响到后续结果,企业需要保证对用户意图识别的准确率,可以通过可视化产品交互的方式允许用户对提问进行二次干预,确保用户传递给大模型的意图是清晰准确的;第二,升级模型底座。企业应选择参数量更大或能力更强的大模型,模型参数量的扩大对NL2SQL准确率的提升存在明显效果(但需要考虑到成本效率的问题),同时建设数据飞轮,沉淀高质量数据对大模型进行微调也可以持续优化准确率;第三,完善指标建设。推动底层数据建设的成本较高、周期较长,而数据指标体系可以快速覆盖核心业务场景,且通过对指标的统一建模、管理与消费,可以大幅提升数据口径的一致性。沙丘智库长期跟踪调研大模型技术的发展,旨在帮助企业快速了解大模型最新、最全面的落地情况。沙丘智库通过研究滴滴、腾讯、招商银行、快手、哈啰出行等5家企业的ChatBI实践,旨在为其他企业的“大模型+数据分析”提供参考。▎案例1:滴滴基于大模型的ChatBI实践
滴滴内部已落地ChatBI产品,提供指标分析、表分析、代码提效等功能,目前已集成到滴滴多个主要的大数据产品中。
在NL2SQL的准确率提升方面,滴滴主要进行了如下几方面的持续优化:
第一,在分析技术方面,一方面持续升级模型底座,另一方面,持续积累微调数据集,目前已达到数万量级;
第二,在分析对象方面,进行指标标准化建设;
第三,在分析产品方面,进行可信度增强设计。
完整内容:滴滴基于大模型的ChatBI实践
▎案例2:腾讯音乐ChatBI平台建设实践
腾讯音乐通过建设基于大模型的ChatBI平台,实现了用户通过自然语言与数据的交互,无需编写SQL或具备专业分析技能。该平台结合了headless BI和Text-to-SQL技术,优化了数据一致性、提高了Text-to-SQL的可靠性和效率,并通过结合对话式和表单式交互,提升了用户体验。完整内容:腾讯音乐ChatBI平台建设实践
▎案例3:招商银行基于大模型的数据分析实践
招商银行基于大模型开发DataGPT,提供大模型交互式数据分析问答能力,实现数据查询、图表绘制、深度分析等功能,实现门槛低、成本低、个性化的数据分析目标。从流程上看:首先,prompt输入中包括用户提问的信息、元数据信息、数据内容以及需要给模型的业务知识;将prompt输入给DataGPT后,对任务进行拆解,针对步骤调用工具,例如代码解释器、深度分析工具、寻求用户帮助等;调用工具执行后将工具分析结果、代码执行结果或用户反馈返回给DataGPT;最终,输出分析报告、数据可视化呈现。完整内容:招商银行基于大模型的数据分析实践
▎案例4:快手智能化BI产品建设实践
快手以企业级BI能力为复用,结合大模型,实现BI场景的智能化,目前已经在取数、找数、可视化、分析、运营五大场景、10余个小场景完成了BI智能化落地,通过智能化功能显著提高了分析效率,如SQL续写功能使得AI智能化生成并执行的代码数占用户新增代码数的10%,展现了智能化BI产品的实际应用价值。
完整内容:快手智能化BI产品建设实践
哈啰基于DSL实现BI助手,DSL本身定义了指标、维度、表、查询日期。基于DSL的BI助手生成的稳定性更强,如果不能准确生成相关的报表分析则拒答,目前拒答率是30%,一旦生成准确率接近100%。
完整内容:哈啰出行大模型业务提效实践
更多研究:
网易云音乐ChatBI实践
*更多生成式AI研究可前往“沙丘智库”小程序查阅
*有任何需求可咨询客服微信:zimu738