我要投稿

实现AI大模型+BI数据分析的5种路径，Text2Sql只是其中一种

发布日期：2024-04-16 18:40:07 浏览次数： 3086

大模型没有壁垒，结合多年深耕的场景和数据处理技术才是王道。
笔者

火爆

由于大模型的出现，目前市面上AI+BI类的产品层出不穷，可谓百花齐放，为什么在B端市场如此火爆，先来看看GPT4是怎么说的：

来自OpenAI-GPT4

除了以上的官腔总结，我的真实感受还有以下几点：

用户/客户在NUI类产品上的使用习惯被逐步培养起来（虽然还处于早期），这种人机交互的改变，是从按键手机到触摸屏手机的飞跃；
传统BI厂商开始“卷”，自然语言数据分析功能似乎成为必要条件；
不管是抱着试一试的态度，还是坚定走智能化升级之路，企业在这方面都有一定的预算，尤其是和数据智能相关的领域。

调研

近期我调研了一些厂商的AI+BI技术路线，汇总之后还是有比较惊喜的发现，在此分享出来。

最终谁好谁差，是平分天下还是只留下头部玩家，交给市场来投票吧。

无论是哪种路线，大家都是结合自身原有的数据架构来构建智能体系，发挥自身的优势；
大模型之路是持久战，当前阶段AI+BI还处于产品形态的探索期，大部分还是个花架子；
如果仅依靠大模型，无法形成壁垒，即使是Agent，也不例外。

回到技术分析，除了Text2Sql是大家公认的路径之外，还有哪些呢，我们一一来看。

一. Text2Sql

Text2Sql简单说，就是输入一句话，自动翻译为Sql代码，省去了我们写Sql查数的过程。

Text2Sql可能是基于大模型做数据分析时，最为流行的一种技术，但想做好并不容易，前不久我的一位好朋友在AiDD大会上的一个技术分享，他从模型基座、构造数据、领域训练、精准评测 4个部分详细介绍了Text2Sql整个系统的搭建过程，干货很多。

在最后的未来展望部分，总结的很好，截图如下：

《ChatBI—NL2SQL领域大模型的研发及在数据分析产品中的落地》

分析的终点是决策，也就是图中所说的“指导型”，是数据真正产生价值的落脚点。

二. Text2Graph

和Text2Sql的区别是，大模型不是将自然语言翻译为关系型数据库Sql语句，而是图数据库查询语句，比如常见的查询RDF的sparQL语句、NebulaGraph图数据库里的Cypher查询语言。

一般使用这种方案的企业，底层一定是图数据库，比如，欧拉智能。这种方案的好处是能发挥图数据库的多跳推理优势，在遇到复杂推理问题时，比sql多表关联查询的性能要高很多。

下面截取Neo4j公司在社交场景里做的传统关系型数据库和图数据库的查询性能对比，在一个包含100万人、每人有50个朋友的社交网络里找最大深度为5的朋友。可以明显看出图数据的查询性能优势。

《美团图数据库平台建设及业务实践》

https://tech.meituan.com/2021/04/01/nebula-graph-practice-in-meituan.html

三. 代码编写类

把自然语言翻译为查询语句功能过于单调，面对复杂的分析场景怎么办呢，干脆“聘请”一位不仅会写Sql，还会写Python的数据分析师，随时随地通过编写代码来满足客户的需求。

举两个例子，一个是开源社区作品Data-Copilot；一个是商业产品，九章云极的TableAgent。

GitHub地址：https://github.com/zwq2018/Data-Copilot
《Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow》

Data-Copilot主要分为两个阶段，第一个阶段是离线过程，通过self-request来构建大量接口，也就是预先生产了大量工具（例如图形渲染、数据查询、排序、数值计算等等），供在线过程的调用；第二个阶段是类似autoGPT的任务规划和工具调用。整体流程如下：

《Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow》

九章云极前段时间刚刚发布了TableAgent数据分析智能体，在官网可以适用Demo。个人感觉和Data-Copilot非常像，不多做介绍，感兴趣可以上手体验，我截一张自己尝试的过程图，供参考：

来自九章云极TableAgent

它的优点是能够将Agent思考过程、数据流图、代码编写过程清晰地呈现出来。整体除了界面还比较简陋之外，感觉最大的问题是数据源只能通过上传Excel来实现，猜测内部只能对Python的Dataframe对象来编程，如果遇到企业级数据库对接，这套流程可能不适合。

四. 指标平台+大模型

我在《我花三天时间构建了大模型自助指标查询，零训练弱幻觉》做过简单的分析，从宽表到大模型应用之间，如果增加一层语义封装，很多场景会变得豁然开朗。

前不久“爱分析”主办的《大模型+数据分析》主题网络研讨会 也明确提出过这种方案：

爱分析 · 《大模型+数据分析》

这种技术方案适合于已经在指标层有过一定技术积累的厂商，因为这一层要解决语义统一（什么叫“销售额”，口径怎么算的）、体系构建（销售额如何拆解、如何关联其他指标）、指标管理（今天张三建了一个指标，明天李四又建了一个）、查询优化（一个查询需求有多种实现路径，哪种最快最好）等一系列基础性问题，但这些功能往往散落在系统各处，大模型的出现将各类基础能力有机链接到一起并主动呈现在业务人员的面前。

五. 数据虚拟化+大模型

数据虚拟化不是AI/BI领域特有的产品，而是在大模型出现之前，为缓解业务快速发展和数据有序增长二者不平衡问题的一种技术手段，这里引用Aloudata技术团队对“数据虚拟化”的讲解：

虚拟化是一种设计思路，它尽可能对使用者屏蔽物理运转细节，将原先需要使用者给出的指令，由机器通过恰当的规则和算法进行自动化实现。
虚拟化本质就是在绝大部分场景中让用户可以按业务本身的需求去操作，而不需要为物理引擎的特性去做额外的优化操作。
宇贤，公众号：Aloudata技术团队数据无序增长的终结者-数据模型虚拟化

下图为虚拟化的概念表达：

Aloudata技术团队《数据无序增长的终结者-数据模型虚拟化》

数据虚拟化存在于物理数据层和用户接口层的中间，所以沿着这个思路，大模型的位置也就自然落在了用户接口层和虚拟层的中间，虚拟层为上层的业务屏蔽掉了底层表的过多的细节。

那么“数据虚拟化”和“指标平台”是什么关系呢，我觉得两者不冲突，“指标平台”更多地解决业务侧问题，“数据虚拟化”专注解决底层表无序增长问题，两者可以做个融合，诞生第六个技术方案。

回顾

大模型的出现，都将各数据智能厂商原有的核心竞争力进一步放大和增强，所以在开头提到，仅依靠大模型本身，无法形成壁垒，结合多年深耕的场景和数据处理技术才是王道。

每种方法都有各自的优势和适用场景，而大模型的出现好像改变了很多东西，又好像什么都没改变。就像在这个突然降温的季节，外界的温度似乎在提醒我们自然界的沉默与恒定，万物虽在变化，但有些东西永远不会改变。

在技术的世界里，一股暖流正在悄然升起，它是人类智慧的火花，在自然的包容中闪耀，和宇宙长河亘古定律和谐共生。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

在长上下文LLM的时代，RAG是否仍然必要？

2024-09-20

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

2024-09-19

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

2024-09-19

o1 能带我们走进 AGI 吗？

2024-09-19

如何微调（Fine-tuning）大语言模型？

2024-09-18

AI软件必须用GPU么？

2024-09-18

ChatGPT有三个快捷指令和三个模式，你知道吗？

2024-09-17

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示