近年来,虽然大模型在生成式AI领域发展迅猛,但在一些专业度高、应用复杂的行业,人们觉得它的价格和价值之间差距太大,形成了泡沫。比如,初期阶段,一些引入智能问答式BI的企业因高昂的投入成本与实际应用效果不完全匹配而感到失望。
这些智能问答式BI产品通常依赖NL2SQL技术,用户能够快速地构建系统并回答简单问题,也确实降低了分析门槛。不过,人们发现,在面对复杂的业务需求时,它根本无法灵活和准确地提供洞察。要打破泡沫,实现智能BI的精准洞察,关键在于降低训练成本的同时,提高对各种复杂业务场景的准确性。而要解决准确性问题,智能BI厂商需要脚踏实地,把卓越的BI能力和先进的AI能力结合,这就是Smartbi AIChat白泽技术方案的核心理念。
Smartbi AIChat白泽基于指标模型获得统一可信的全域数据,结合全面的RAG增强LLM在业务理解、映射、SQL生成的准确性,同时借助AI Agent灵活扩展分析能力。通过不断的反思优化,白泽越用越聪明,越用越准确。以证券行业为例,我们来看下股票分析师面对海量数据,如何借助白泽智能BI解决复杂业务场景下的精准数据洞察问题?
尽管大模型的加持确实让数据分析变得更简单,但如果只是将一堆不良数据交给它,期望自动得出正确答案,这既不现实也不负责任。就像高楼大厦需要坚实的地基一样,我们应从数据治理着手,构建统一高质的数据基础,才能实现智能BI的准确洞察。那么,如何打造高品质的数据呢?扫码/长按下方二维码即可申请试用Smartbi AIChat1、基于数据模型打造“高动力数据引擎”
传统方式通常以“表”为 核心,数据分散在各个数据集,管理混乱且口径不一致,严重影响数据效率和用户信心。
Smartbi数据模型将管理方式从“表”升级为“指标”,它具备一体化多维建模能力,不仅解决了多源异构数据整合、口径不一致等问题,还大幅提升数据准备效率,为白泽这部“智能汽车”提供强劲的“数据动力引擎”!数据模型能够整合多种数据集,包括线上和线下的数据,甚至可以跨数据库整合。这使得所有查询结果都能统一,形成一致的数据。
它支持多种模型类型,如星型模型、雪花模型,尤其可以通过维度建模来生成星座模型,轻松应对各种复杂的数据结构和业务需求,比如多事实表关联查询。
数据模型还具备强大的计算能力,支持SQL计算、ETL分布式计算和MDX计算,能快速处理各种复杂计算,如同比、环比分析、时间智能分析和TopN分析。
此外,基于数据模型,还能轻松地配置数据权限,实现金融级别数据管控,确保数据绝对安全。
2、基于指标模型高效构建自增长指标体系
为简化数据模型的构建,Smartbi可以通过指标模型,在可视化界面中通过向导式的操作统一构建和管理整个指标体系,确保口径一致。同时,指标模型还能承接和整合行业Know-How,帮助企业更好地对接战略目标。白泽AI引入数据模型/指标模型,就像原来不懂业务逻辑和元数据信息的新员工,一跃成为业务专家,还可能拥有决策管理层的视角。但是,只接入数据模型/指标模型是不够的,这意味着需要花费高成本进行大量的训练,无法实现通用,因此,我们引入检索增强生成RAG技术。
全面RAG
私域数据精准匹配
RAG 技术通过构建高效的数据模型和向量数据库,有效提升数据库的精准匹配和 DSL 转换能力,实现泛化。首先,我们使用Embedding技术,将数据模型中的指标、维度等元数据信息嵌入到向量数据库中。
接着,结合同义词、知识库、示例、规则等提升理解,同时利用BERT模型等技术在向量数据库中查找最匹配的指标、维度和表名。
最后,白泽利用大模型将匹配到的元素转换为DSL,自动生成符合规范的查询语句或代码片段。
通过全面的RAG,等于为大模型配备了企业元数据和行业知识等信息,使其能够精准匹配和转换私域业务数据。无需反复训练,大模型就能胜任多行业的业务需求,如同一位通晓各行各业的专家。
AI Agent
高级分析灵活处理
基于数据模型的RAG可以保证用户单个查询的准确性,却没法满足多个数据集融合、归因预测等高级分析需求。为此,白泽引入了AI Agent智能体,为其增添了思考、规则、分解、协调、决策、反思等多重能力。AI Agent模拟人类的反思过程,通过用户反馈和历史数据分析,不断调整策略和优化流程,提升准确性;它还能记住并存储用户的偏好和上下文,突破大模型的上下文限制,更准确地理解长文本和复杂对话;它借助Python可以融合Smartbi本身数据分析能力,灵活处理多数据集融合、归因预测等任务,不受单一算法局限。Smartbi AIChat白泽不仅能精准实现诸如多轮对话、图形展示等常见场景,还能驾驭时间智能计算、多事实表查询、归因预测等多种复杂的业务场景。目前,初次使用即可达到 80-90% 的准确度,且不会产生数据错误或权限漏洞。稍微进行 RAG 微调,准确率进一步提升,在特定场景下可达 99%。
比如问句“2024年1月4日,现金资产超过1万且贷款金额少于1万的客户的学历、总资产和总负债情况”,它涉及客户维、日期维、资产事实表、债务事实多个事实表和维表。
如使用NL2SQL方式,最难的就是判断表关系。它往往会强行把资产事实表、债务事实表进行关联,生成错误的SQL语句。
而我们的白泽AI则拥有数据模型,可以以维度建模的方式生成星座模型。这里我们通过共享“客户维”“日期维”等维表,将“资产事实表”“债务事实表”“客户事实表”等多张事实表构建为星座模型。
图:数据模型
通过一键构建AI图谱,将数据模型的指标度量等元数据嵌入向量数据库,并结合同义词、知识库、示例等,使大模型实现自然语言与结构化信息之间的精准转换。图:构建AI图谱
因此,面对上面问句,AI Agent的规划器通过全面的RAG技术,准确实现上下文语义理解与数据的映射匹配,进而制定出一个包含多项子任务的执行计划:1、找到客户表和资产事实表及其关联关系,查询2024年1月4日现金资产超过1万的客户,形成小表。
2、找到客户表和债务事实表及其关联关系,查询2024年1月4日贷款资产超过1万的客户,形成小表。
3、查询客户事实表中的教育程度,形成小表。
4、根据实际情况,合并所有数据
5、根据聚合粒度计算总资产和总负债
6、选择列,输出查询结果
在子任务中,白泽借助星座数据模型,通过“客户信息表”维表关联“资产事实表”和“债务事实表”,动态构建出三张小表,基于小表就能很轻松地在不同聚合粒度输出准确的SQL查询和结果。Smartbi AIChat白泽凭借独特的数据模型、全面的RAG和AI Agent智能体,已从新员工成长为具备项目经理思维的业务专家。他能有效规划和执行,同时具备创新能力,通过自我反思实现持续成长。在快速变化的商业环境中,白泽AI不仅提高了决策的效率和准确性,还为企业带来了深远的洞察力,助力企业在竞争中脱颖而出。