一、为什么要建设数据质量？

数据中台是一个长期存在的数据管理解决方案，它的目标就是集中管理和整合各种数据源数据，用来支持数据分析、业务决策和应用开发。如果数据质量低下，那么数据中台产生的数据可信度就很低，业务用户和数据分析师将不会信任数据，从而破坏了数据中台的核心目标。因此，数据中台需要数据质量模块来确保数据的一致性和准确性，提高数据的可信度，保证业务决策的准确性，降低因为数据问题导致的业务风险。

二、数据质量的核心指标

• 唯一性校验

唯一性校验可以标记和识别数据中的重复数据，确保每条数据记录都是唯一的。

• 及时性校验

及时性校验目的是确保数据在采集，传递和处理过程中都是最新的数据，从而来满足数据敏感或者一些实事数据业务场景。

• 有效性校验

有效性校验是为了检查数据是否满足特定的数据质量标准，以确保数据可以被可靠地使用，常见的有效性校验包含字段格式校验，字段长度校验，字段值域校验等。

• 一致性校验

一致性校验是确保数据在存储、传输和处理过程中保持一致性和准确性的主要手段之一。常见的一致性包含单表字段一致性校验，单表字段统计值一致性校验，多表字段一致性校验等。

• 完整性校验

完整性主要是来校验字段的空值或空字符串等，确保数据的正确性。

• 数据指标监控

指标监控常包含指标值域校验和指标环比同比校验等，主要是用来校验数据的度量，预测数据的变化趋势。

三、数据质量系统架构

数据质量中不会对具体的某一个模版和规则进行实现，也不会具体去执行某一个规则，仅仅只是对规则模版进行组装，生成一个具体的指标规则，然后通过其他服务（DolphinScheduler）去执行结果，最后进行结果校验，将异常值进行告警。

数据质量总体系统架构如下：

所有的模版和规则及校验配置都在数据库中维护，所有的模块全部通过指定协议完成，降低了质量系统与其他模块的耦合性。

四、数据质量整体执行流程

数据质量整体流程如下图：

首先我们看一下整体页面配置效果，这个图展示的就是对指定表的order_code字段做完整性校验，其中表的分区字段为create_time，数据过滤条件rq = '2023-09-28'，校验配置项就异常行数大于10告警。

这个规则整体比较简单，最后的动态SQL如下所示：

SELECT
 'ERROR_NUMBER' AS metricType,
 'ERROR_NUMBER' AS metricName,
 '${bizDate}' AS bizDate,
 count(1) AS metricValue
FROM
 ${srcTable}
WHERE
 (${dataFilter}) AND (IF(${partitionFlag}, DATE_FORMAT(${partitionField}, '${partitionFormat}') = '${partitionFieldValue}', 1 = 1))
 AND ${validateField} IS NULL

接下来给大家介绍一下复杂一点的规则配置，就是空值率校验。空值率校验需要统计两个指标，一个就是数据总条数，一个就是字段值为NULL的条数，通过比值，算出来一个空值率大小，这个就不给大家展示页面了，通过一个动态SQL，大家应该就能明白其中的原理了：

这个是一个空值率规则模版：

#根据指定分区字段和过滤条件查询出数据总数
SELECT
 'TOTAL_NUMBER' AS metricType,
 'TOTAL_NUMBER' AS metricName,
 '${bizDate}' AS bizDate,
 count(1) AS metricValue
FROM
 ${srcTable}
WHERE
 (${dataFilter}) AND (IF(${partitionFlag}, DATE_FORMAT(${partitionField}, '${partitionFormat}') = '${partitionFieldValue}', 1 = 1))

UNION ALL

#根据过滤条件查询出该字段为NULL的数量
SELECT
 'ERROR_NUMBER' AS metricType,
 'ERROR_NUMBER' AS metricName,
 '${bizDate}' AS bizDate,
 count(1) AS metricValue
FROM
 ${srcTable}
WHERE
 (${dataFilter}) AND (IF(${partitionFlag}, DATE_FORMAT(${partitionField}, '${partitionFormat}') = '${partitionFieldValue}', 1 = 1))
 AND ${validateField} IS NULL

下面是一个完整的空值率动态规则：

空值率就是ERROR_NUMBER的metricValue / TOTAL_NUMBER的metricValue比值 ，至于校验方式就是计算出来的统计值是否在设定值范内。

SELECT
 'TOTAL_NUMBER' AS metricType,
 'TOTAL_NUMBER' AS metricName
 '20230922' AS bizDate,
 count(1) AS metricValue
FROM
 test_db.test_tbl
WHERE
 (rq = "2023-09-28") AND (IF(true, DATE_FORMAT(create_time, 'yyyyMMdd') = '20230922', 1 = 1))

UNION ALL

SELECT
 'ERROR_NUMBER' AS metricType,
 'ERROR_NUMBER' AS metricName,
 '20230922' AS bizDate,
 count(1) AS metricValue
FROM
 test_db.test_tbl
WHERE
 (rq = "2023-09-28") AND (IF(true, DATE_FORMAT(create_time, 'yyyyMMdd') = '20230922', 1 = 1))
 AND order_code IS NULL

四、总结

数据质量最为复杂的就是如何做到与其他系统解偶，其次就是规则动态模版配置层面，其实校验和发送告警都很简单，今天就不在这里给大家赘述了，希望这块内容能给大家带来一点帮助。