大模型的三要素之一便是数据，没有数据作为基石，就没有大模型的诞生。

大模型的预训练就是，在大规模无标注数据集上进行模型的训练，目标是让模型学习自然语言的基础表达、上下文信息和语义知识，为后续任务提供一个通用的、丰富的语言表示基础（把全网数据都学习一遍）。那么在数据的质量管理就尤为重要了。

一、数据质量管理

数据质量管理主要用来解决“数据质量现状如何，谁来改进， 如何提高，怎样考核”的问题。数据质量也是数据治理流程里的核心，关系着后续任务的准确度。

可以说高质量的数据是一切数据应用的基础。对大模型也是如此，高质量的数据，将会获得一个高精准度的大模型。

1.1 数据质量问题产生来源

在进行数据质量管理的时候，首先的一个便是数据质量问题产生的来源。原因有很多方面，比如技术、管理、流程等。造成质量问题的原因通常很复杂。

我看了很多资料，大差不差的：

• 业务源系统变更

当业务流程或系统发生变更时，如果没有正确地更新数据流程或数据模型，可能会导致数据质量问题。

• 数据开发BUG

在数据开发过程中，如果存在编程错误或逻辑错误，可能会导致数据不准确或不一致。

• 物理资源不足

如果处理数据所需的硬件资源（如存储、内存、CPU等）不足，可能会影响数据处理的效率和质量。

• 基础设施不稳定

如果支撑数据存储和处理的基础设施（如数据库、网络等）不稳定，可能会导致数据丢失或处理错误。

二、如何提高数据质量

当谈到数据质量管理的时候，必须有一个数据质量评估的标准，有了这个标准，才能知道如何评估数据的质量，才能将数据质量量化，并知道改进的方向，以及如何评估改进后的效果。目前业内认可的数据质量标准有如下几类。

（1）准确性：描述数据是否与其对应客观实体的特征一致。 举例：用户的住址是否准确；某个字段规定应该是英文字符，在其位置上是否存在乱码。

（2）完整性：描述数据是否存在缺失记录或缺失字段。 举例：某个字段不能为null或空字符。

（3）一致性：描述同一实体同一属性的值在不同的系统中是否一致。 举例：男女是否在不同的库表中都使用同一种表述。例如在A系统中，男性表述为1，女性表述为0；在B系统中，男性表述为M，女性表述为F。

（4）有效性：描述数据是否满足用户定义的条件或在一定的取值范围内。 举例：年龄的值域在0~200之间。另一个枚举的有效性例子是银行的币种代码。

（5）唯一性：描述数据是否存在重复记录。 举例：身份证号码不能重复，学号不能重复。

（6）及时性：描述数据的产生和供应是否及时。 举例：生产数据必须在凌晨2：00入库到ODS（OperationalData Store，操作数据层）。

（7）稳定性：描述数据的波动是否稳定，是否在其有效范围内。 举例：产品质量抽样统计的合格率，不会有超过20%的波动范围。

（8）连续性：描述数据的编号是否连续。 举例：有关部门处理环保违法案件，案件的编号必须是连续的。

（9）合理性：描述两个字段之间逻辑关系是否合理。 举例：企业注销时间必须晚于注册时间，自然人的死亡时间必须晚于出生时间。

以上数据质量标准只是一些通用的规则，还可以根据客户数据的实际情况和业务要求对其进行扩展，如进行交叉表数据质量校验等。

3.1 数据质量建设

有了数据质量的评判标准，就可以以此作为参考，对数据进行改正，以提高数据质量，那么又是如何进行数据质量标准进行任务化呢？ 这就是数据质量建设的方法->质量稽核

在数据加工任务中，对产出表按照业务规则，设计一些校验逻辑，确保数据的完整性、一致性和准确性，这是提升数据质量最行之有效的方法。

通常建议你在数据产出任务运行结束后，启动稽核校验任务对数据结果进行扫描计算，判断是否符合规则预期。如果不符合，就根据提前设定的强弱规则，触发不同的处理流程。

如果是强规则，就立即终止任务加工链路，后续的任务不会执行，并且立即发出电话报警，甚至我们要求，关键任务还要开启循环电话报警，直到故障被认领；如果是弱规则，任务会继续执行。

但是存在风险，这些风险会通过邮件或者短信的方式，通知到数据开发，由人来进一步判断风险严重程度。

3.2 大模型赋能数据质量建设

上面是为了提高数据质量，而实施的一些措施。

需要针对每个任务需要根据数据质量评判标准，进行稽核任务编排，在编排完毕之后需要到表字段里进行校验。

整个流程是比较麻烦的，而且如果你不对数据了解，那么想要高质量的数据，则都得把质量标准流程都走一遍。

因此，思考是否可以利用大模型对数据质量进行校验。

根据通用型质量规则数据对大模型微调，并结合知识库的方式设计流程，最后利用微调后的大模型对数据进行稽核。

（1）大模型微调

数据质量标准，是大数据领域的特定数据。

因此，可以把数据质量标准，制作成问答对，对通用大模型进行微调，让它掌握数据质量的标准规则。

一般而言，可以把最为通用的质量标准进行微调。

（2）知识库

数据来自于不同的场景，那么针对数据的评判是不同的。可以把自己业务领域，对数据质量特定的标准进行嵌入知识库方式，给于大模型准确的回答。

最后，利用微调后的大模型 + 知识库的方式对样例数据进行质量稽核。

·················END·················