检核规则管理

检核规则类型说明

数据检核支持的检核规则类型如下：

规则类型	说明
空值检查	检查目标字段的值是否为空，可以多个字段联合检查。
值域检查	检查目标字段的值是否为空，可以多个字段联合检查。
值域检查	检查目标字段的值是否在指定的取值范围内。
有效数据检查	检查目标字段的值是否与对照字段的值是否一致，不能出现对照字段不存在的值，需要指定对照表及字段。
规范检查	检查目标字段的值是否符合指定的规范格式。
重复数据检查	检查目标字段的值是否存在重复的值，可以支持单个或多个字段。
及时性检查	检查数据的及时性，需要指定日期时间类型的字段，并设置误差时间，误差时间单位支持天、小时、分钟。
完整性检查	检查指定字段是否与对照表字段的数据量和字段值完全一致，需要指定对照表及字段。
自定义检查	通过自定义 SQL 对数据进行检查，需要提供数据总量 SQL 脚本和数据检核 SQL 脚本。
NoSQL数据检查	按照指定的规则对HBase的表字段进行检查。

新增检核规则

1.单击左侧导航菜单“质量定义>检核规则管理”，页面点击”新增”进入创建检核规则页面。

2.1基本信息页面输入信息后点击下一步。

一、页面输入基本信息说明

1.根据检核信息输入检核规则名称。

2.选择需要的规则类型模板

3.在数据源中选择检核字段数据源。

4.配置数据库。

5.选择对应指标

6.选择是否勾选启用，勾选启用将会在新增检核规则成功后立即启用

7.选择检核规则的责任人。

8.根据需要指定规则分组以及添加备注

2.2规则配置页面输入信息后点击下一步。

二、页面输入规则配置说明

1.选择检核的数据表名称。

2.配置检核的字段名称。

3.根据需要配置额外的SQL查询条件

2.3结果配置页面输入信息后点击下一步。

三、页面输入结果配置说明

1.选择要输出的列
2.选择检核结果的存储类型，分别有：文件，数据库 以及 附件

2.4告警配置页面输入信息后点击确定。

四、页面输入告警配置说明

1.选择需要的告警规则

2.配置告警的通知渠道

3.保存后页面显示如下，在页面“详情”右侧图标下拉列表中点击“启用”。状态变更为“启用”。

检核规则导入

1.点击“导入”，在模板页面选择模板下载。

2.1下载模板页面如图所示。

2.2在页面“下载模板”右侧图标下拉列表中选择需要下载模板还是参考。

3.使用Excel打开模板页面。页面有“检核规则项目”、“规则类型参考”、“数据源参考”、“指标参考“、”规则分组参考“、”告警规则参考“、”检核任务参考“、”告警通知参考“。其中“检核规则项目”页面是用户需要填写，供参考sheet页的信息可以选择复制到“检核规则项目”sheet页对应列中。

4.保存后在左侧导航树进入“质量定义 > 检核规则管理”页面点击”导入>上传”。

指定分组

1.在页面勾选数据点击“指定分组”，将检核规则添加到指定分组。

2.选择指定的分组，点击“确定”。

3.切换到“检核规则分组”，页面点击“互联网数据”列表查看指定后的检核规则。

批量停用

1.页面勾选数据点击“停用”，所选择数据状态变为“停用”状态。

2.页面显示如下

批量启用

1.页面勾选数据点击“启用”，所选择数据状态变为“启用”状态。

2.页面显示如下

批量删除

1.页面勾选数据点击“删除”，所选择数据被删除。

详情

1.页面点击“详情”操作，查看检核规则详情。

2.页面显示如下。

下拉列表

1.下拉列表有“删除”、“修改”、“启用”、“停用”，对单个检核规则进行操作。

搜索、重置

1.在查询条件“资源名称”、“检核规则名称”、“数据源名称”、“质量维度”、“检核状态”、“执行类型”、”规则分组“、”指标“，输入单项查询及多条件，点击“搜索”按钮进行查询。点击“重置”重置已输入内容。