近年来，BI平台逐渐开始与AI融合，更注重以纯业务人员为中心，借助自然语言处理技术，打造搜索驱动的数据分析平台，实现数据消费的零门槛。

本文作者：冰泉

火山引擎DataWind团队

/ BI平台演进历程

/ 抖音集团企业级BI建设历程

● 第一阶段

夯实基础，专注于提升取数与分析效率；

● 第二阶段

丰富能力，建设了多终端、企业管理、以及智能归因等更强的分析能力；

● 第三阶段

创新突破，2021 年 4 月左右上线了可视化建模，让业务人员也能通过拖拉拽的方式进行数据清洗或加工。此外，在大模型的趋势下，从 2022 年底开始探索大模型与 BI 的融合。目前已对外开放了分析助手的售卖。

/ 高效数据分析的基石

完善的大数据架构及高性能查询引擎是高效数据分析的基石。智能数据洞察的技术架构，可以从六个层级（自下至上分别为：源数据层、存储层、计算层、OLAP 层、服务层、应用层）与系统服务合计七个部分来了解。

/ 应用层精细化调优与治理

如果客户的数仓建设尚未成熟完善，同时对 ByteHouse 存储大量数据的成本有所顾虑，那么智能数据洞察可以利用 ByteHouse 的冷热数据分层功能，在实现查询高性能的同时，有效节约资源成本。

随着数字化发展，数据量与日俱增，消耗成本也水涨船高，BI平台可能会因此出现运行越来越慢的情况。针对此类现象，智能数据洞察已积累了数据治理和优化的实践经验，能够提供精细化性能优化与成本治理的解决方案。

在集群方面，支持物理上的集群隔离，同时还支持分配资源组，将不同的资源组分配给不同的项目，从而实现物理和逻辑的双重隔离。

● 数据导入

在数据导入过程中，系统会对同步任务进行优化。在数据导入环节，系统通常会提供默认参数，而用户也可能会配置不同的参数，但这些参数并不一定是合理的。对于较小的任务，使用默认参数可能会导致资源浪费。

因此，针对这类同步任务，系统会进行自动优化。具体实现方式是：系统会采集任务运行的部分指标，并通过一定的算法来调整下一次执行的参数。这样，经过一段时间的优化后，任务运行的参数将达到合理状态，既能保证成本的合理性，又能在业务需要的时间范围内成功运行任务，从而实现对整体集群负载的良好控制。

● 查询性能

在查询性能方面，提供了多种治理手段以确保查询性能 p95 在2秒以内。例如：为不同的集群设定数据量的准入规则，以避免大数据量的表直接导入对集群稳定性造成影响；主动根据数据的查询模式，推荐对表设置主键、分片、索引等性能优化方案；对长时间无访问的数据进行识别并清理优化。

/ DataWind智能化方向探索

随着数据规模增长、数据处理与分析技术提升，数据的使用场景变得越来越丰富，BI平台成为这些数据消费场景的主要载体之一。

/ AI数据挖掘：可视化建模

/ 智能数据分析与洞察

（1） 用户对需要监控并进行异动分析的指标进行配置，包括异动检测算法和规则的设置，以及归因分析方法和路径的选择。

（2） 系统会根据约定自动进行指标数据的探查，并识别出异常点。

（3）系统自动按照默认或配置的分析思路和路径进行归因分析，生成归因报告，并将数据异动信息和归因报告推送给用户。

（4）用户收到报告后，可根据报告得出定性定量的结论，也可进入 BI 平台进行更深入的探索分析。

在归因分析中，即席归因是一种简单常用的实时归因手段，用户在发现指标异常时可以立即使用。以业务付款金额大幅增长场景为例，分析师或业务人员可以通过在图表的数据点上直接点击“默认归因分析”，快速获得自动归因结果。

即席归因主要用于解决用户临时性的归因分析需求。而在抖音集团内部，也存在着大量这样的场景：分析师已经有了比较明确的分析思路，需要系统能够更智能、自动地基于数据和预制的思路进行分析，并生成分析报告。这就是归因报告功能的由来。

与即席分析相比，归因报告具备以下更深入的能力：

● 支持用户根据分析思路配置定制化分析过程，如维度归因，用户可自助选择需要归因的维度，支持通过下钻或组合的方式，联合多维度进行深度归因分析。

● 支持根据条件执行分析过程并生成分析报告，如定期执行或在指标波动超过一定阈值时自动执行。

● 通过 IM 推送报告，帮助用户第一时间获取数据归因结果。

归因报告中能够支持三种报告类型，分别为异动分析、维度归因以及指标归因。

● 异动分析

异动分析报告通过自动探查指标，使用算法学习历史数据，预测指标的合理波动区间，从而判断指标是否存在异常，以获得数据洞察。

● 维度归因

维度归因用于将指标的变化在各个维度上进行拆解，并提供定量的贡献解释。根据用户配置，每天/每周会自动对指标进行探查，利用科学的归因算法分析对大盘指标产生影响的因素。

● 指标归因

指标归因用于分析多个相关指标对核心指标变动的影响，并提供量化的贡献解释。根据用户设置，每天/每周都将分析相关指标对核心指标的影响程度。

4. 指标分析树

关于归因算法，针对不同的归因方式会有所不同。这里简单介绍一个常见的基础算法——基尼系数。基尼系数是经济学中常用的指标，用于衡量一个国家或地区居民收入差距。当基尼系数越小，说明当地居民收入越平均；当基尼系数越大，说明当地居民收入越不平均。

/ 大模型应用探索：分析助手

● 数据准备阶段

通过大模型的自然语言和数据理解能力，帮助用户自动生成数据集的相关信息，包括数据集描述、字段名称/描述等，且在用户编写自定义SQL时提供SQL代码辅助能力。

● 自助分析阶段

大模型可以提供基于自然语言的图表生成能力。

● 仪表盘消费阶段

可以进行仪表盘生成、自定义主题配色，进行基于IM的仪表盘探索分析等能力。

点击阅读原文，了解更多