# 快速入门指南
本文档主要介绍数据质量平台安装完成后的基本配置和操作使用,帮助用户快速了解如何新建检核规则并执行检核任务,完成数据的质量检核。
# 账号权限管理
1.登录AFCeneter,点击上方菜单栏组织权限中心,点击侧面菜单栏下权限管理下的角色管理,选择租户管理员
2.在角色管理下方点击权按钮,在应用列表中选择数据质量板块,将数据质量的页面和功能两个部分的功能全选并点击保存,刷新后即可看到数据质量相关页面。
# 数据源维护
提示:数据质量管理平台采用自建数据源通过数据源直连方式读取数据库数据,自建数据源类型主要包括DB类型、hive类型等,具体操作步骤请见下列示例介绍。
方法一:
- 点击数据质量,单击左侧导航菜单的“数据源管理>数据源维护”页面,点击“新增”按钮。
- 在“新增数据源”页面填写数据源名称、数据源地址、用户名、密码,选择驱动、数据源类型,点击“测试连接”确认是否连接成功。
- 点击“保存”显示如下。
方法二:
1.点击公共资源管理,在存算引擎管理中选择新建存算引擎。
2.选择所需要的存算引擎类型之后点击下一步(这里以关系数据库中的mysql进行举例),输入必要的引擎名称、环境选择、IP、端口之后进行连通性测试,点击开始测试后,提示连通成功即可点击确定以完成保存。
3.点击侧面菜单栏数据源管理后,选择新建数据源,输入必要的数据源编码、数据源名称、数据源层次后点击下一步。
4.选择刚才创建的存算引擎类型(实例是开发环境),选择该环境下所创建的存算引擎,输入必要的用户名、密码、数据库名称,根据需求选择填写对应数据库的驱动程序后,进行连通性测试,点击开始测试,提示连通成功后点击确定以完成保存。
- 保存成功后稍等片刻,点击上方菜单栏数据质量,点击侧面菜单栏数据源管理,点击数据源维护,即可看到刚才配置的数据源,点击测试连接,提示连接成功即可正常使用。
# 指标信息维护
提示
1.指标信息维护支持指标维度查询,新增一、二、三级指标信息,修改一、二、三级指标和删除一、二、三级指标操作。
2. 当一级指标下存在二级指标时,删除一级指标会连带二级指标一同删除。
3.二、三级指标在新增页面可以关联告警信息。
- 在左侧导航菜单点击“质量定义>指标信息维护”页面,点击“新增指标”, 新增一个一级指标。
- .在“新增指标”页面输入指标代码、指标名称、选择质量维度后点击“保存”。
- 保存后页面显示如下。
# 频度管理
提示
频度管理主要为检核任务提供定时调度的频度参数,检核任务启动后可以按照频度设置时间执行检核任务。频度管理中可选择一次性、分钟、小时、天等多种时间频度设置。
- 在左侧导航菜单点击“质量调度>频度管理”页面,点击“新增”
- 在"新增频度"页面选择频度类型,此处选择为“每分钟”间隔时间设置为7分钟。即每七分钟执行一次。
- 点击"保存"显示如下。可以点击右侧“修改”对设置的频度进行修改,点击“删除”删除改频度信息。
# 检核任务管理
提示
1.检核任务主要为检核规则提供执行载体,检核规则都需通过检核任务来执行。
2.检核任务管理支持检核任务信息查询、新增检核任务、删除检核任务、修改检核任务、启用检核任务、停用检核任务、立即执行检核任务等操作。
3.查询检核任务可以输入检核任务名称直接查询,也可以通过检核任务类别和调度类型进行模糊查询。删除检核任务,该任务需是停用状态,否则不能删除。
- 单击左侧导航树上的“质量调度> 检核任务管理”,在“检核任务管理”页面点击“新增”。
- 在“新增检核任务”页面,填写检核任务名称、选择频度名称、任务类型等点击“保存”。
提示
1. 任务类型主要有表检核任务、通用检核任务、Hive检核任务、HBase检核任务。
2. 调度时间必须为未来时间。
3. 不选择日历时按照调度时间执行,若选择日历会按照日历时间执行。
4. 点击启动按钮,保存后检核任务为启动状态。
- 保存后如下图所示。
说明
1.如果任务没有到达调度时间,但需要立即执行,点击“立即执行”即可。
2.需要修改任务时点击“修改”,如果任务正在启用状态,则需要停用再进行修改。
# 新建检核规则
提示
创建检核规则有两种方式:
1.新增检核规则:选择数据源及字段,在页面创建一条检核规则。
2.检核规则导入:下载检核模板,通过Excel批量导入检核规则。
# 新增检核规则
- 点击左侧导航树“质量定义 > 检核规则管理”页面,点击”新增”。
- .在“新增检核规则”页面,输入后点击“保存”。
说明
页面输入信息详情:
1. 输入规则名称。
2. 选择规则类型
3. 配置数据源
4. 配置数据库
5. 选择指定的指标
6. 选择是否启用
7. 指定负责人
8. 可以分配规则分组
9. 选择表,指定字段
10. 选择对应规则范围(也可配置过滤条件)
11. 配置结果显示字段
12. 可以选择告警规则,也可选择通知方式(邮箱,微信,钉钉)
- 保存后页面显示如下
- 在操作列表点击选择检核规则点击“操作”按钮,可以将资源状态变更为“启用”状态。同时可以点击“修改”、“停用”、“删除”对该检核规则进行修改、停用、删除。
- 在左侧导航树点击“质量监控> 检核规则监控”页面,点击“立即执行”检核规则执行成功。
- 在左侧导航树点击“质量结果> 检核结果”页面显示错误率、结果、状态、检核时间等信息,点击“预览数据”可以查看检核出的数据。
# 检核规则导入
- 点击“检核规则导入”,在模板页面选择模板下载。
- 下载模板页面如图所示。
- 使用Excel打开模板页面。页面有“检核规则信息”、“指标类型”、“检核任务信息”、“数据源信息”、“责任人信息”sheet页。其中“检核规则信息”页面是用户需要填写,供参考sheet页的信息可以选择复制到“检核规则信息”sheet页对应列中。
- 保存后,单击左侧导航树点击“质量定义 > 检核规则管理”页面,点击”检核规则导入>上传”。
- 上传成功后页面显示检核规则,在右侧点击按钮下拉列表点击“启用”启用该检核规则,也可以勾选多条导入数据点击“启用”检核规则同时被启用。
- 单击左侧导航树点击“质量监控> 检核规则监控”页面,点击操作“立即执行”
- 单击左侧导航树的“质量结果> 检核结果”页面,点击右侧“预览数据”查看检核数据。
# 检核结果
- 点击左侧导航树“质量结果 > 检核结果”,单条检核规则页面显示检核规则名称、检核资源、检核项、检核任务名称、执行类型、数据源名称、质量维度、状态、检核时间、结果/总量、错误率、问题描述及预览数据、转问题操作。
- 点击右侧“预览数据”页面显示当前检核总量及检核问题总量,默认显示前10条数据,点击“预览下载”查看预览数据,点击“全量下载”显示所有数据。
- 返回“检核结果”页面,点击下拉列表显示“转问题”,点击“转问题”对检核数据进行反馈。在“转问题”页面默认显示问题资源、问题字段、责任人、问题描述信息,输入“问题名称”后点击“保存”。
- 点击“保存”后后页面显示如下。
- 点击“检核结果”页面的“添加反馈”
- 点击左方展开区域可见历史反馈