AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


大模型如何把企业的数据用起来
发布日期:2024-04-23 07:29:19 浏览次数: 2120 来源:大卫THINK


AI 2.0时代,大模型作为生产力工具和创意辅助工具,已经在很多消费与企业级场景落地应用,比如智能客服机器人、新闻报道生成、辅助代码开发等等。


对于企业内部数据资产的应用,大模型可以带来哪些改变呢?


我们已经看到,大模型正在改变数据的处理,也在据的


在数据管理与应用领域,大模型可以极大地降低企业内部的数据消费门槛,有巨大的潜力可以探索。


 1 

如何用好非结构化数据


企业有大量文档、图片等非结构化数据,存储和处理成本高昂。


相比在各个信息系统中产生、存储和处理的关系型数据,非结构化数据的价值体现远远不足。这类数据的应用普遍较少,应用深度也不够。


值得欣喜的是,对于非结构化数理和利用,大模型带来了颠覆性改变。比如,数据分类和标注、结构化数据提取、知识图谱构建


我认为企业可以考虑投入应用了。


1. 数据分类和标注


我们使用BERT等自然语言处理(NLP)模型完成文本分类、情感分析、实体识别等任务。模型通过学习语言的结构和语义,能够理解文本内容并对其进行准确的分类和标注。


现在,GPT等大语言模型能够捕捉到丰富的语言特征,我们可以通过增量预训练和微调(fine-tuning),以及Prompt工程,来完成特定的文本分类任务。


多模态大模型的出现,供了更丰富的数据理解和标注能力。我们可以用多模态大模型处理图像、音频、视频等非结构化数据,提取内在的文字含义,助力未来检索和进一步利用


2. 结构化数据提取


大模型具备强大的文本理解与提取能力,可以从非结构化数据中提取关键信息和特征,如从文本中提取实体、关键词、主题等。


举个例子。


研究人员做行业研究,需要对互联网上的大量网页信息资料进行阅读、判断和处理,人工提取信息再录入到数据库,整个过程耗时耗力。


基于大模型的文本抽取、推理能力,以及few-shot、in-context learning等技术,我们可以对网页信息进行抓取、预处理和分析,提取所需的关键指标数据,输出为结构化数据表格,导入到原有的关系型数据库和信息系统。


这样,极大地提升了研究人员的工作效率。


3. 知识图谱构建


用大模型辅助构建知识图谱,是一个热门话题。


大模型可以通过实体识别和关系抽取,基于企业的大量知识文档,快速构建出结构化的知识网络,保存到Neo4j等图数据库中,便于后续的查询和利用。


企业用大模型的能力构建的知识图谱,反过来还能更好地推动垂直领域大模型在企业的应用。


例如,在检索增强生成RAG智能问答中,我们如果能借助知识图谱,可以更好地理解用户提问中的专业术语,给出更加专业和准确的回答。


 2 

如何用好现有数据库


企业积累了大量的数据,在传统的关系型数据库或数据仓库中。业务人员如果需要数据,一般需要通过IT部门提需求,通过应用开发或BI数据报表实现。


这个过程短则数天,长则数周、数月。


大模型可以辅助进行自然语言数据查询和分析。实现的方式,主要是NL2SQL和ChatBI。


业务人员只要用自然语言和模型交互,即可获取所需的数据,以图表的形式展现。业务人员可以随即用在文档、报告中。


1. 自然语言查询 - NL2SQL


实现自然语言数据查询和分析,需要把用户的自然语言,转换为数据库可以理解的SQL语句,或者应用接口可以相应的API调用。


实现前者,需要采用NL2SQL(Text2SQL)技术。目前,模型转换成SQL语句的准确度有了很大提升,尤其是单表查询的准确度已经可以实用。


在具体场景中,如果数据存放在结构清晰易于理解的一张大宽表中,那么可以使用NL2SQL模型,完全没有问题。


但是,现实情况是,企业内部有大量孤立的信息系统和数据库,存在数百甚至成千上万张表,库表结构不规范,跨表查询计算多。


在这种复杂环境下,直接使用NL2SQL技术,还很难达到预期的目标。


2. 对话式BI - ChatBI


传统BI软件在数据分析、可视化、权限管理等方面非常成熟。


基于原有BI软件的数据分析能力、大模型的自然语言理解能力,可以实现对话式BI产品,帮助业务人员通过自然语言对话,自助式获取准确的数据。


一些厂商基于原有的BI和数据分析能力,纷纷推出了自己的对话式BI产品。


比如,数帆基于自研大模型发布了ChatBI,在网易云音乐内部落地应用,主打四个特性:需求可理解、过程可验证、用户可干预和产品可运营。


总之,自然语言查询和分析是未来趋势,将极大地降低企业内数据消费的门槛,让普通用户能够以更直观、更自然的方式与数据进行交互,从而提高了数据分析的效率和可访问性。


 3 

如何用好现有知识库


最近,我测试了智能客服机器人,效果不错。


基于Dify、Coze等大模型PaaS服务,搭建这样的智能客服机器人已经非常容易,通过一些简单配置就可以生成并部署。


但是,要让客服机器人真正实用,重点要提供足够的相关知识。强生成(RAG)技术实现先检索到准确信息,再通过大模型生成回答,这种“检索+生成”的方法已经成为主流


提供知识,这就需要上传Word、PDF等各种文档资料,比如:用户手册、操作手册、官方网页、常见问题Q&A、宣传资料等等。


在技术层面,我们根据段落结构和语义,提取这些文档资料中的文本内容,转换为向量,存储到向量数据库,并建立索引,形成向量知识库


如果企业已经建设了知识管理系统,那么这套系统管理的知识数据又有了新用途。在此基础上,建设向量知识库就相对容易。否则,企业就需要首先搜集、梳理这些文档资料,并形成长效的管理机制,确保知识库的持续扩充和更新。


这个知识库,无论是对内对外提供智能问答,还是用于生成结构化的研究报告、汇报材料、解决方案等,都将极大地提升企业员工的效率。


 4 

给企业的两点建议


未来已来。


大模型等新兴技术可以帮助企业,更好地管理和利用非结构化数据,通过NL2SQL、ChatBI技术用好现有的SQL数据库,通过RAG检索增强生成技术用好现有的知识库。


如今,企业要构建新的竞争优势,无疑需要管好数据、用好数据。


我有两点建议。


第一,企业应系统化推进数据治理。


依托数据采集、汇聚、治理、分析的平台工具,积极开展包括非结构化数据在内的数据治理,一数据标准,形成高质量数据资产和知识库,为数据的进一步使用做好准备。


第二,企业应重视创新的应用。


结合业务特点和需求场景,积极探索AI与大数据技术应用,敢于投入,孵化出有潜力、颠覆性的AI原生应用,提高生产效率、提升用户体验,构建企业的长期竞争优势。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询