微信扫码
与创始人交个朋友
我要投稿
ChatBI借助自然语言处理和人工智能技术,极大增强了数据分析的易用度和便捷性。最近,我们邀请观远数据产品负责人严林刚,共同深入讨论ChatBI的核心竞争优势、ChatBI的准确性与安全性,以及如何塑造商业智能的未来,并整理「十问十答解析ChatBI」,为大家深入了解ChatBI提供实用的参考信息。
以下为严林刚访谈实录精选。
ChatBI相较传统BI的应用优势是什么?
目前阶段,ChatBI应用优势主要在于提升数据分析效率,降低数据消费的门槛,提升对个性化需求的灵活响应。ChatBI能够比传统BI更加适应企业业务的多样性和变化。传统BI需要IT或数据分析人员预先构建指标或分析看板,业务人员进行数据消费时,仅限于对已有数据分析资产的查看和应用。到了敏捷BI时代,业务人员掌握一定的数据分析能力,能够基于企业开放的数据资产进行拖拉拽的自助分析。ChatBI则进一步降低了数据分析和消费的门槛,企业不需要构建完整的数据分析资产,大模型通过对已有数据分析资产的学习就可以对业务提供类似问题的解决方案,然后通过自然语言对话,帮助业务人员随时随地获取到所需数据,避免了在多个报表中搜索和在Excel中整合数据的繁琐过程。
当然我们认为未来ChatBI的能力不会局限于此。我们可以通过让大模型学习企业业务知识,加强对模糊问题和复杂问题的处理能力,能够自行进行任务的拆解和编排,通过Task Automation完成复杂问题的整体分析和解决。这已经不仅仅是一种畅想,而是在技术层面已经有了显著性的突破,我们相信未来一两年内就可以在一些局部闭环的场景落地,而这是传统BI想都不敢想的事。
当下ChatBI的准确度如何?
如何确保高准确度?
“准确度”确实是在企业在数据应用场景中非常关键的问题,因为数据不准,谈何支持决策。但其实大部分情况下,我们对“准确度”本身的定义也是模糊的。这里我们不妨从ChatBI如何回答一个数据问题的流程来更加系统地看下用户感知的“准确度”到底由哪些因素决定。
目前普遍的ChatBI实现的大致步骤为:1. 问题理解→2. 知识召回→3. 问题改写→4. 查询生成→5. 数据查询→6. 可视化呈现。这里面影响用户感知的“准确度”的关键步骤是「1,3,4」。
1. 问题理解。如果ChatBI对问题理解能力比较差,为了防止回答错误,就会很大概率拒绝回答标准数据资产中不包含的溢出问题,这就导致对ChatBI用户的问数技巧和对数据本身的了解有很高的要求,但这本身就违背了ChatBI降低数据消费门槛的初衷,使得ChatBI的可用性变得很差。
3. 问题改写。问题改写的目的也是为了提升ChatBI的整体可用性。例如,一个用户问“公司上个月整体销售情况如何?”,这个问题里面没有明确要看的指标,到底是销售额、销量,还是销售额或销量的同比环比情况。这就需要根据召回的业务知识,对问题进行相应的改写,以便明确相应的指标查询任务,提升ChatBI在复杂对话情况下的适应能力。
4. 查询生成。这一步是用来将业务问题映射为技术查询语言,不同的厂商可能会采用不同的技术路线,例如NL2SQL和NL2DSL(DSL:Domain Specific Language)。大部分从技术层面对“准确度”的争论都来自于此,但我们需要理解的是这里的前置条件是输入是一个明确的指标查询问题。从整体上来说:
NL2DSL因为有明确可查的数据分析资产支撑,会具有更好的可信度,但同时牺牲了一定的问题泛化能力。
NL2SQL具有更好的问题泛化能力,对复杂对话情况会有更好的适应性,但在证明结果可信上或许会面临一定挑战。
而再回到“准确度”的问题上来说,两者都可以通过完善数据分析资产或迭代业务知识库(包括SQL样例),来不断提升各自的整体准确度。
所以综上来说,用户感受的“准确度”实际上是一个复杂的问题,跟统计口径(是否含拒绝回答的问题),问题集的宽度、深度,以及用户对非标问题回答准确与否的人为判断等都有关系。企业在做ChatBI选型时,应根据自己的应用场景来合理评估对“准确度”的诉求。
实际应用中,我们的一位客户在供应链场景里,由于底层数据表之间的关联极为复杂,开始整体查询的准确率仅在60%到70%之间。我们通过宽表优化、意图识别优化、SQL生成优化、多链路交叉校验、业务知识库迭代等方式进行持续优化,使得业务问题整体解决率提升至92%。
业务用户该如何正确使用ChatBI?
与其说“业务用户该如何正确使用ChatBI”,我们更应该重视的是“企业该如何正确落地ChatBI”,让ChatBI更好地去服务业务用户。为什么不强调“业务用户如何正确使用ChatBI”?其实前面有说到,如果ChatBI对用户的问数技巧和对数据本身的了解有很高的要求,那么违背了ChatBI降低数据消费门槛的初衷,产品的可用性就会变得很差。
那么企业如何正确落地ChatBI?我认为关键在于将技术与实际业务场景紧密结合,深入挖掘业务需求,识别真正的痛点。现阶段,将ChatBI定位为没有任何边界的通用问数工具,一方面是技术成熟度还未得到充分验证,二来对企业来说也没有明确的价值产出。
我们的建议是,现阶段落地ChatBI,要收敛到基于业务JTBD(Jobs to be done)的闭环场景价值落地上来。在一个确定的场景内,我们可以通过业务知识或自动化的BI数据采集,获得充分的上下文信息(context),然后通过大模型可以更加准确地回答用户问题,甚至帮助用户完成从Insight到Action的闭环。当然,在这个过程中,ChatBI可能无法在第一时间给到非常满意的回答,那么系统需要提供相应的反馈机制,不断强化模型,确保ChatBI能够适应不断变化的业务知识和数据体系,最终实现数据分析的自动化和智能化,提升业务决策的效率和质量。
ChatBI会为数据安全与隐私
带来哪些挑战,该如何避免?
企业在建设ChatBI时,确实需要注意数据安全和敏感数据的处理。特别是在使用云端公共大模型服务时,数据安全是一个不可回避的问题。目前我们在技术方案选择上,不会将所有数据发送给大模型,而只会暴露部分不敏感的维值数据和宽表“元数据”。这种方法虽然限制了大模型在自然语言总结查询数据等方面的应用,但有效地减少了敏感数据的暴露风险,维护了数据的安全性和隐私性,同时确保了业务流程的顺利进行。而如果企业采用的是本地化部署的私有大模型,那么在数据安全方面的顾虑就可以有所放宽,ChatBI也可以与大模型进行更多的业务数据交换。
未来随着大模型云服务的普及,与数据安全合规相关的技术支撑会更加完善,法律法规也会更加健全。大模型厂商也会采取必要的技术和管理措施来保护用户数据不被滥用或泄露,从而在提供便利的同时,也保障用户的数据安全和隐私,那样我相信会有越来越多的企业客户逐渐接受大模型接口化服务。
ChatBI为企业带来最直观的
变化是哪些?应用效果如何?
ChatBI为企业带来的最直观变化体现在数据分析效率的提升和业务沟通方式的革新。在训练好的特定业务场景下,ChatBI通过自然语言处理技术,使得业务人员无需复杂的操作即可快速获取数据洞察,降低了数据分析的门槛和成本。同时,ChatBI通过智能化的对话界面,增强了企业内部的协作与沟通,提高了工作效率,并且推动了企业深化数字化转型,更好地利用数据资源,实现数据的价值最大化。
例如,我们与自然堂集团合作的ChatBI解决方案,通过即时学习、逻辑预设和图表生成三大核心能力,有效应对业务中的临时、重复和个性化需求。即时学习功能通过自然语言交互,能够迅速理解并响应临时的指标和维度查询,实现即问即答,无需传统开发流程;逻辑预设则通过决策树模型覆盖大部分常规的重复性分析需求;而图表生成能力则基于对话理解,自动创建个性化的可视化图表,助力业务用户快速构建专属的分析体系。
市面上ChatBI产品很多,
衡量一个ChatBI产品的标准有哪些?
市面上ChatBI产品众多,我们总结了四个关键词:业务价值、企业级能力、成本、安全。
首先应该关注的是业务价值。目标用户的JTBD是什么?通过ChatBI是否解决了其核心痛点?坦率来说,目前市面上的ChatBI产品大多都还处在价值验证的阶段,谁能够率先在高价值业务场景内做深做透,谁就能在这个市场上真正树立ChatBI标杆!
其次,企业级能力是另一个重要的评估标准。由于ChatBI首先是一款BI产品,企业级能力积累是项目落地的关键,这包括数据源支持、可视化能力等基础BI功能,以及对接企业现有系统的能力。
再者,成本。ChatBI建设期间所需要花费的冷启动成本,以及后续持续维护成本仍然是一个需要关注的方面。
最后,安全性是不可忽视的因素,尤其是在处理敏感数据时,必须确保符合隐私保护法规和数据安全标准。
大模型与BI的融合前景如何?
未来可能还会有哪些发展?
大模型与BI的融合预示着智能BI的未来发展,这一趋势有望彻底改变数据分析的方式和应用边界。随着大模型技术的成熟,生成式人工智能的应用可能会使得数据分析更加高效和直观。尽管目前ChatBI还处于探索阶段,面临着商业化落地的挑战,但这种融合的前景非常广阔。我认为未来企业将更加注重构建和更新企业知识库,以充分发挥AI的能力,让人工专注于目标设定、过程监督和反馈等关键任务,实现人机协同的效果最大化。
就像OpenAI把AI分为五个阶段:L1是现在的ChatBot聊天机器人,形式上是通过自然语言进行对话;L2是推理者,可以自行拆解并解决人类级别的智力性问题;L3是Agent智能体,能够代表用户采取行动;L4是创新者;L5是组织者。
我认为大模型与BI的融合大体也遵循这个路线,目前我们已经走在L1的务实落地和L2的路径探索上了。从具体发展路径上来说,一是要确保ChatBI在基础“问数”场景中高可落地性和批量化复制;二是在高阶“问知”类场景中对领域知识和工作流进行封装重组,实现对复杂任务的理解拆解和动态任务编排。在交互方式上,基于大模型的BI也未必必须是ChatBot的形态,大模型与BI融合也可能会出现更好的产品形态,例如联想、推荐,甚至我们现在没有想到的更优的方式。
ChatBI产品诞生之后,
对数据分析师的影响如何?
ChatBI产品的诞生对数据分析师的影响是双重的。一方面,它并不会取代数据分析师的核心价值,但确实也提高了行业的入门门槛。基础的、重复性的统计分析工作将越来越多地由AI自动化完成,数据分析师需要掌握更高级的技能,如深度理解特定行业或职能业务,并将其转化为数据分析策略。另一方面,ChatBI降低了数据分析师与业务之间的沟通成本,数据分析师能够将更多精力投入到高业务价值的数据分析和洞察中,扩大了成长空间和职业发展的可能性。
并且,ChatBI要在高阶业务场景中产出数据分析结果,也是靠数据分析师基于平台产品能力去配置,通过AI+BI能力高效生成的,并非完全无中生有,只是大量数据分析基础工作,可能会被AI替代,但真正高价值的能够支撑管理者战略决策的数据,还是需要数据分析师深度参与的。
在ChatBI背景下,业内“人人都是数据分析师”的说法是否会有变化?
我其实不太认同“人人都是数据分析师”的说法,我更赞同的是“人人都可以基于数据决策”,这也是观远数据主张BI数据分析“让业务用起来”的底层逻辑。从过去从事十多年的BI行业经验来看,绝大部分企业能够做到用BI工具“主动做数据分析”的员工比例,不到1%(国外企业工具文化更好一些,可能有5%),我们希望通过更低门槛更易用的数据分析产品,把数据分析生产者的比例提高到5%,10%,以撬动更多百倍的数据消费者,让他们能够基于可信的数据分析结果进行业务决策,这就达到目的了。
现在ChatBI诞生之后,“人人都可以基于数据决策”将变得更加触手可及。在业务场景中,通过简单的对话式交互,每个人都能够直接向ChatBI提出问题,并迅速获得基于数据的洞察和建议,使得数据驱动的决策变得更加普及和便捷,让数据的力量真正渗透到企业的每一个角落。但这背后,其实是需要数据分析师通过BI+AI的产品或技术能力,去协助构建领域数据分析体系的。另外专业数据分析师在深度分析、业务洞察、数据治理等方面仍然具有不可替代的价值。
在此,我也希望我们的企业管理者还是要充分尊重数据分析师的岗位价值,不要被“人人都是数据分析师”的糖衣炮弹所迷惑,而忽视了对企业数据分析人才的培养。
观远目前在ChatBI方面
有哪些尝试以及成果?
正如刚刚提到的大模型与BI的融合路线,目前观远数据走在L1基础“问数”场景的务实落地和L2高阶“问知”类场景路径探索上,并已对外发布观远ChatBI产品。
观远ChatBI是基于大语言模型(LLM)打造的智能数据问答产品,提供意图识别、知识召回、问题理解、数据查询、可视化生成等能力。我们通过自然语言提问,便能在观远ChatBI上获取数据分析结果,解决临时性、一次性、高重复的业务数据需求。
观远ChatBI现已通过信通院“大模型驱动的智能数据分析工具专项测试”,并且与客户合作的实践案例斩获“IDC PeerScape: 中国生成式BI场景化落地先驱案例”等多项奖项荣誉,屡获客户肯定与行业认可。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-06-20
2024-06-14
2024-10-14
2024-06-16
2024-07-03
2024-10-09
2024-06-14
2024-06-06
2024-06-21
2024-05-31