# 检核规则管理

检核规则类型说明

数据检核支持的检核规则类型如下:

规则类型 说明
空值检查 检查目标字段的值是否为空,可以多个字段联合检查。
值域检查 检查目标字段的值是否为空,可以多个字段联合检查。
值域检查 检查目标字段的值是否在指定的取值范围内。
有效数据检查 检查目标字段的值是否与对照字段的值是否一致,不能出现对照字段不存在的值,需要指定对照表及字段。
规范检查 检查目标字段的值是否符合指定的规范格式。
重复数据检查 检查目标字段的值是否存在重复的值,可以支持单个或多个字段。
及时性检查 检查数据的及时性,需要指定日期时间类型的字段,并设置误差时间,误差时间单位支持天、小时、分钟。
完整性检查 检查指定字段是否与对照表字段的数据量和字段值完全一致,需要指定对照表及字段。
自定义检查 通过自定义 SQL 对数据进行检查,需要提供数据总量 SQL 脚本和数据检核 SQL 脚本。
NoSQL数据检查 按照指定的规则对HBase的表字段进行检查。

新增检核规则

1.单击左侧导航菜单“质量定义>检核规则管理”,页面点击”新增”进入创建检核规则页面。

image-20221009152527505

2.1基本信息页面输入信息后点击下一步。

一、页面输入基本信息说明

1.根据检核信息输入检核规则名称。

2.选择需要的规则类型模板

3.在数据源中选择检核字段数据源。

4.配置数据库。

5.选择对应指标

6.选择是否勾选启用,勾选启用将会在新增检核规则成功后立即启用

7.选择检核规则的责任人。

8.根据需要指定规则分组以及添加备注

image-20221009155151896

2.2规则配置页面输入信息后点击下一步。

二、页面输入规则配置说明

1.选择检核的数据表名称。

2.配置检核的字段名称。

3.根据需要配置额外的SQL查询条件

image-20221009155207125

2.3结果配置页面输入信息后点击下一步。

三、页面输入结果配置说明

1.选择要输出的列
2.选择检核结果的存储类型,分别有:文件,数据库 以及 附件

image-20221009155219058

67636399287

2.4告警配置页面输入信息后点击确定。

四、页面输入告警配置说明

1.选择需要的告警规则

2.配置告警的通知渠道

image-20221009155310393

3.保存后页面显示如下,在页面“详情”右侧图标image-20221009154812084下拉列表中点击“启用”。状态变更为“启用”。

image-20221009155439825

检核规则导入

1.点击“导入”,在模板页面选择模板下载。

image-20221009155626825

2.1下载模板页面如图所示。

image-20221009155647911

2.2在页面“下载模板”右侧图标image-20221009155945196下拉列表中选择需要下载模板还是参考。

image-20221009160100977

3.使用Excel打开模板页面。页面有“检核规则项目”、“规则类型参考”、“数据源参考”、“指标参考“、”规则分组参考“、”告警规则参考“、”检核任务参考“、”告警通知参考“。其中“检核规则项目”页面是用户需要填写,供参考sheet页的信息可以选择复制到“检核规则项目”sheet页对应列中。

image-20221009164609640

4.保存后在左侧导航树进入“质量定义 > 检核规则管理”页面点击”导入>上传”。

image-20221009165005096

指定分组

1.在页面勾选数据点击“指定分组”,将检核规则添加到指定分组。

image-20221009165218146

2.选择指定的分组,点击“确定”。

image-20221009165244780

3.切换到“检核规则分组”,页面点击“互联网数据”列表查看指定后的检核规则。

image-20221009165416757

批量停用

1.页面勾选数据点击“停用”,所选择数据状态变为“停用”状态。

image-20221009165658884

2.页面显示如下

image-20221009170010172

批量启用

1.页面勾选数据点击“启用”,所选择数据状态变为“启用”状态。

image-20221009165720381

2.页面显示如下

image-20221009165942088

批量删除

1.页面勾选数据点击“删除”,所选择数据被删除。

image-20221009170307665

详情

1.页面点击“详情”操作,查看检核规则详情。

image-20221010093452983

2.页面显示如下。

image-20221010093557711

下拉列表

1.image-20221010093750269下拉列表有“删除”、“修改”、“启用”、“停用”,对单个检核规则进行操作。

image-20221010093723453

搜索、重置

1.在查询条件“资源名称”、“检核规则名称”、“数据源名称”、“质量维度”、“检核状态”、“执行类型”、”规则分组“、”指标“,输入单项查询及多条件,点击“搜索”按钮进行查询。点击“重置”重置已输入内容。

image-20221010094043731