©作者|Zhongmei

来源|神州问学

结构化数据 VS 非结构化数据

大多数人所熟知的二维表格或SQL型数据库就是典型的结构化数据，因为它们有明确的、预定义的数据模型，是遵循一致顺序的数据。结构化数据有三大特征：

1）有明确的含义：数据所代表的含义是确定且已知的。比如公司的员工信息表中，第一列是id，代表员工编号。第二列是name，代表员工姓名。第五列是position，代表员工职位等等。每一列的列名明确告知了我们该列数据代表什么含义。

2）有严格、一致的顺序：结构化数据中，数据顺序是固定的。比如上面提到的员工信息表，数据顺序一定是：员工编号、姓名、性别、年纪、职位等等。每一行的顺序都是一样的。

3）有明确的数据类型：结构化数据中具有同一定义的数据符合相同的数据类型。同样用员工信息表举例，年龄这一列，数据类型一致采用整数，而不会有的用整数“20”，有的用小数“20.0”，有的用汉字“二十”，这种情况是不被允许的。

非结构化数据，相较于记录了生产、业务、交易和客户信息等的结构化数据，非结构化的信息涵盖了更为广泛的内容。它是无固定格式或规则存储的数据，没有固定的字段或标签，不易被计算机程序解析和处理。简单来说就是字段可变的数据，常见的非结构化数据包含各种办公文档、图片、视频、音频、设计文档、日志文件、机器数据等。但是，非结构化数据通常包含着大量的信息和价值，因此被越来越多的企业和组织所关注。半结构化数据为介于结构化数据与非结构化数据之间的数据，常见的半结构化数据有HTML（超文本标记语言）、XML（可扩展标记语言），广义上二者也可以认为是非结构化数据。

企业非结构化数据的痛点现状

非结构化数据具有某种特定和持续的价值，这种价值在共享、检索、分析等使用过程中得到放大，沉淀为企业知识。但上文提到的非结构化数据的特点，造成了企业管理和利用这些非结构化数据的痛点。我称之为“四失”，失存、失真、失控和失用。

1.  失存

一方面，由于企业日常经营管理和业务管理的需要，建立了功能各异的应用系统或信息化管理平台，用以支撑企业的各类管理工作。这些管理系统和平台在业务的各个环节，每天都在大量产生形式多样的非结构化文档数据，增速越来越快，体量不断增加，汇聚成海量的企业非结构化数据。数据量大、长期保存难。并且，传统的非结构化数据管理，内容对象、元数据与索引是分离存储和独立管理，难以同时灵活横向扩展，加剧海量非结构化数据的管理复杂性。

另一方面，多数企业中文档生命周期流程，即从文档生成、流转、办结到归档、保存、利用的全过程，并没有非常清晰和规范的管理流程和要求，就导致存在过多的“账外”非结构化文档数据。比如，集团制订的归档范围未将一些应归档但无法通过系统流转的文档纳入其中，部门相当一部分非结构化文档数据仍保存在个人电脑之中，导致企业文档数据资产存在着流失的风险。

2.  失真

非结构化数据往往都质量不高，必须进行数据清理才能进行组织。对于公司来说，清理和准备大量数据过程中就会看到很多失真现象。举个例子：企业业务活动中很多系统都存在着很多简称、全称以及英文名称并行使用的情况。这代表着很多不同的数据标签对应着同一事物、代表相同意义的数据使用着不同标签。再例如，如果文档管理没有设有版本支持，当使用口径不统一，相同文件会分散在不同的业务系统中，无版本控制的情况下无法确定系统中版本是否为最新，也容易造成数据失真

3.  失控

一方面，非结构化数据格式繁多。根据不同的办公场景、业务需求，非结构化数据以多种文件格式体现出来， 如Word、Excel、PPT、PDF、TXT、JPEG、MP3、MP4、压缩文件、CAD图纸等。有的散落在企业员工电脑上、硬盘里，有的存放在各业务系统中，格式和存储载体不受控制。

另一方面，，由于信息系统建设具有阶段性特征，已有的信息系统建设之初仅以单个的业务需求为目标，彼此孤立，存在着比较严重的孤岛现象。系统之间缺少横向的数据接口，且数据标准不统一，导致数据无法统一管理控制。

4.  失用

一方面，在企业业务快速发展中，面临大量信息和数据不断涌现的情况下，如何在海量数据中建立筛选机制，保证信息的准确、及时，是业界公认的难题。比如企业一些信息系统（如OA系统、ERP系统等）中文档多以表单（如办文单）的形式进行流转，需要办理的文档通常作为表单的附件，传统做法中借助表单信息或者简单的文件标题等元数据加以检索的做法是低效的，导致数据开发利用不足。

另一方面，业务涉及的数据繁杂，来源广泛，整理起来困难重重，耗时耗力。目前多数企业的数字化服务能力仍有所不足，缺乏知识数据的自动流转能力，就造成效率低，人力投入成本高。即使收集数据完成，由于非结构化数据，通常包含着丰富的信息和复杂的关联性，基于常规单一算法技术很难有效识别、表达及获取其中的隐性知识，精准描述关键信息难度大。

大模型时代企业知识管理解决方案

知识的全生命周期管理，就涉及知识提取、存储、流转、利用的全过程。在大模型时代，LLM可以类似一个人的大脑，去辅助知识的存储，理解和创造，可以解锁知识管理的新范式。

第一层是数据的整合关联。这一层中，一方面，针对企业中的不同系统，要整合不同终端数据，打破数据孤岛，对数据进行统一存储管理，实现数据的多源融合。另一方面，对于系统外不同存储格式的散落文件，为具备良好的数据处理质量，针对不同格式的文档（如Word、Excel、PPT、PDF、MP4等）都要有定制的算子，保证数据解析的精度与完整度。

第二层是知识的高效提取和存储。非结构化数据的提取和存储常见有两种，一种从中知识萃取存储进SQL或者知识图谱这种高度结构化的数据形式，这其中涉及很多的NLP算法，比如信息抽取，实体链接，知识融合等。另一种则是，经过切片和向量化嵌入（embedding），将文本或图片转化为向量存储进向量数据库。这其中会涉及文本NLP技术和图像视频处理的CV技术。这两种方式的相同点在于数据定义标准、数据架构易延展；且便于检索和查询。两者在实际应用上互相补充，为企业知识管理打下地基。

第三层是结合业务的知识验证。知识要以赋能业务为主要目标，所以知识的构建效果和后续检索使用效果都需要以业务视角进行验证。因此，需要以业务自动化和智能化为目标，面向业务应用需求，以场景为立足点，搭建指标体系，并不断迭代丰富，不断更新；确保知识质量可以支撑需求，保障知识能带来业务价值。

第四层是利用LLM智能体自动化知识利用。以大语言模型（LLM）为中心的智能体的行动框架，完美贴合T（Think）-P（Plan）-A（Action），TPA交付方法论，数据分析洞察每一个流程交由一个专家智能体就能解锁人机交互新范式，实现自动化。比如数据收集部分可以交由智能检索RAG Agent，关于检索效果提升，感兴趣可以查看我们之前的文章读懂RAG这一篇就够了，万字详述RAG的5步流程和12个优化策略, 知识图谱查询 KG Cypher Agent 以及 SQL Agent协同合作收集到数据分析所需的全部数据。而数据分析部分则可以由Data Cleansing Agent, Data Exploratory Agent, Feature Selecting Agent, Modelling Agent, Model Evaluation Agent以及 Model Selecting Agent等多智能体协作完成。洞察报告则有Insight Agent和Report Writing Agent共同协作完成。这样就可以将人力解放出来的前提下，实现辅助人类的客观分析决策、诊断洞察以及关联推荐等等功能。

第五层是运营和管理提效。数字化时代离不开的就是运维，需要保证的就是管理和运营的成本、效率和稳定性。所以一方面，进行风险控制，要对权限规划、角色职责设定、知识流转知悉范围、文档命名规范以及系统使用终端要求等等制定严谨丰富的管理规则。另一方面，运维服务工具的开发，能够减少人工操作和错误，节约人力和时间成本，提高运维团队的工作效率。同时，基于SQL&知识图谱的高度结构化数据库和向量数据库，实现的统一且易拓展的数据架构，大幅度降低更新成本。

尾语

大语言模型（LLM）的出现大幅度降低了非结构化数据的使用门槛，有助于释放海量非结构化数据中隐含的知识，赋能企业业务。所以本文提出，非结构化数据多源融合- 数据结构化&向量化 - 基于业务场景的指标体系搭建 - 数据智能体群体协作 - 知识运营&知识管理，大模型时代企业知识全生命周期高效管理五层架构。大语言模型在其中多层中作为中枢和主力军，辅佐人类，协助企业数智化。