微信扫码
与创始人交个朋友
我要投稿
01
企业数据民主化
今年越来越多的企业尝试构建 Chat BI、Data Agent 工具释放来数据价值,但多数企业内部的数据团队状况不容乐观,根据调研,企业内部拥有大量业务团队,包括 BA、DA 分析师,承载为不同业务团队的供数功能。企业内部的客服、运营、供应链等组成部分,都有不同的看数需求。但目前很多数据开发工作都由体量较小的数据团队承接,这是很多企业目前面临的困境。
数势科技希望把集中式、分散式的数据分析现状,拓展成民主化流程,让更多的内部企业公民完成自主数据分析,如何通过指标语义+大模型能力来更好地帮助用户去取数用数,是我们的愿景。
02
指标平台与AI Agent能力融合突破难题
实现 AI 理解每个用户的自然语言请求,并转化为相应数据及结论,其中重要的中间层叫指标语义层。我们发现,目前很多企业拥有各种数据源、数据仓库、数据湖,直接对到数据应用终端,比如 BI 工具、内部大屏看板,但没有尝试构建统一语义层。当大模型在数据库里,指标本身没有在语义层面统一时,大模型很难理解语义口径,这样无法解决幻觉、准确性不高的问题。要让 AI 更好地释放数据价值,首先要在中间语义层构建统一,只有这样大模型才能够理解用户所表述的自然语言具体所指的指标与维度。通过 AI 释放数据价值的前提条件,需达成企业内部的业务语言、指标语义统一,这也我们强调指标语义层构建的前提。
上图是客户的实际情况,没有构建指标语义层之前,数据链路是经典的数仓分层,从 ODS 到 ADS 层。其中存在一个问题,数仓分层完成后的最终数据消费,不管是 BI 工具还是大屏,都是直接从 ADS 抽表,推表后进行可视化渲染,但当数据集本身在数据团队无法管控的情况下,会出现指标口径不统一问题。指标口径本身不统一时,指标是混淆的,大模型很难准确理解所需的具体口径。
在这样的架构痛点之下,数势科技提出了新的范式,把数据集以数仓的分层推给应用端之前,先在语义层做统一,也就是说公司内部所有的标准原子指标是清晰统一的,在此基础上大模型才能够理解用户提出的指标维度含义。所以建议数仓还保留原来的分层结构,但仓外构建逻辑语义层,将所有指标要素从原子层到指标维度再到分析颗粒度,让大模型理解了用户提问意图。比如,“近 7 天的销售额哪个城市增长的最快?”这时大模型要把问句中的销售额映射到原子指标,城市指维度,也就是把用户的自然语言翻译为企业的指标与维度,这样才能够更好地支持业务团队自然语言的产品请求,目前很多零售、制造行业,包括金融机构,都在尝试迁移此架构。
当构建好指标语义层后,如何与大模型进行交互?我们并不希望大模型直接生成SQL,因为模型本身有幻觉,生成 SQL 时会有准确率问题,并且数学推算能力并不强。我们希望大模型第一步完成意图识别,比如问题的性质,到底是取数任务?还是趋势分析任务?还是归因任务?先进行意图判断,再把用户的请求拆解成对应指标维度,包括时间颗粒度,最终由指标引擎做执行,转化 SQL 逻辑,进行取数分析,本质上会有类似于大小模型协同的机制。
03
落地实践分享
案例一:某消费零售建立经营决策体系
这是一家零售消费企业,并在全国有上千家门店,门店内设有督导经理角色,负责日常对管理的加盟商做大量报表分析,原来所有指标只能依靠总部的专业数据分析师进行提数,会存在需求等待情况,针对督导人员取数慢,我们提供了大模型分析助手产品。
该企业架构并非替代了原有 BI , BI 更多解决如何让领导层面以固化的形式看数,还是有一定价值,但针对于门店的经理、督导,需求比较零散或临时,把需求全提给数据开发人员非常浪费时间。
金融机构本身较特殊,对整个数据指标体系的要求、安全性、复杂度都更高。其实施的整体架构,基本上是私有化部署模式,对接架构数仓。在此之上构建了指标的语义层,这一层包含对于整个银行所有业务线,比如信贷、代发财富管理、对公对私等所有指标的含义,包括指标之间的关系,都在中间层做了维护,包括内部渠道、产品、客户经理等多实体标签。
有了中间语义层后,产品对接国产化大模型,在前端赋能使用场景。对于银行,特别重要的场景是分支行领导的问数场景,银行内部会定期让领导做日常复盘,原来领导都是提需求给助理或秘书,由秘书找业务团队、数据开发人员,一层层传递需求,时间成本较大,效率也低。
04
总结与展望
在与客户实施交流过程中,我们发现让用户问问题,本身就是很难的事情。人类自然语音交流时,不可避免会出现黑话或名词短语,导致理解有误。
所以当使用者问的问题不清晰或者模糊时,我们会让大模型做反思,通过反问机制逐渐澄清需求,这是我们产品上的核心优化机制。具体来说,我们通过大模型思考、确认所问的指标是否清楚,问句中的时间段是否模糊等,整个过程用户可干预,大模型会做澄清,明确提问的口径,这样能够提升用户最终使用工具时的产品体验。我们并不期待所有人的问题都很专业和标准,真正的大模型数据产品需要支持用户像人类交流一样,可以问得模糊、可以追问反问。
另外,不同的人对于同一个词或同一句话的理解不一样,企业内部也有不同的获取数据角色。比如我们发现,企业内不同团队的需求通过日志分析发现非常像,但实际上同一名词对于不同角色完全不一样,如果全都同样处理和分析,数据分析准确性根本无法保证。因此,我们便通过构建企业知识库让大模型明白提问者是谁,问题内名词的具体含义是什么,让分析更准确。
一些高阶工具的痛点就是用户不知道该如何提问,让用户更好的提问,也是大模型时代重要的特色,如何把企业内部的分析思路给大模型,让大模型帮助提出合适的问题,这一点在基于 LUI 交互的产品体验中尤为重要。因此,我们把企业内部的行业分析指标方法论同步给大模型,此时该工具不是单纯的ChatBot,而是真正做到“增强分析”。
最后,数势科技在服务众多商业客户后也形成了对于智能分析 Agent 未来发展的思考与展望。
以上是本次分享的全部内容,如需获取专家完整版视频实录和课件可扫码领取。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-21
全网最全ChatGPT财务分析提示词解决方案
2024-12-21
万字长文梳理基于LLM的Text-to-SQL发展进程
2024-12-20
从0到1解构数据问答系统架构:三层模型全解析
2024-12-19
博士眼镜 × 观远数据 × 飞书 | AI 和 BI 赋能业务实践
2024-12-19
传统水务如何借助AI完成智能化升级?一文看懂核心架构与实战应用!
2024-12-18
ChatBl有什么用,看这篇就够了!
2024-12-18
在Windows上使用RAGFlow+Ollama+Qwen2.5,搭建医疗问诊助手(附相关数据集和案例)
2024-12-16
LLM+数据分析,大模型的一个攻坚领域市场观察
2024-06-20
2024-06-14
2024-07-03
2024-06-06
2024-06-14
2024-06-21
2024-06-16
2024-06-07
2024-07-24
2024-10-09
2024-12-13
2024-11-19
2024-11-06
2024-10-25
2024-10-25
2024-10-25
2024-10-18
2024-10-09