# 重复数据检查
要执行重复数据检查，需要一个已部署的7.1LA2版本及以上的数据质量应用。
# 系统变量配置
点击【应用中心】->【通用管理】->【系统变量】，进行系统变量的配置。
# 主数据部分
主数据部分主要配置的是【数据质量平台变量】。有关访问凭证的说明，请参考访问凭证。
| 变量名称 | 变量说明 | 变量举例 |
|---|---|---|
| quality_server_url | 数据质量服务地址 | http://10.15.15.136:18080 |
| quality_server_token | 数据质量服务对应AFC提供的访问凭证 | 4d5766ec133a4fb5ac0f8dd038558c19 |
# 数据质量部分
在已部署的数据质量服务对应的AFC系统变量中配置【主数据平台变量】和【AFC变量】。
关于数据质量部分的详细配置，请参考数据质量系统变量说明 (opens new window)。
| 变量名称 | 变量说明 | 变量举例 |
|---|---|---|
| mdm_datasource_id | mdm 后端所用数据源ID | 810485842284560384 |
| mdm_output_datasource_id | 检核结果储存 数据源（数据库）ID | 810485842284560384 |
| mdm_output_datasource_databaseName | 检核结果储存 数据源（数据库）名 | mdm_app_pub_8222 |
| mdm_frequency_name | 频度名称 | mdm_frequency |
| mdm_index_id | 指标ID | 810488949697593344 |
| mdm_server_url | MDM 后端地址:端口 | http://10.15.15.212:29898 |
| mdm_server_token | MDM对应AFC提供的访问凭证 | 4b65ba17e4564b859e2a8394b7d4f703 |
| 变量名称 | 变量说明 | 变量举例 |
|---|---|---|
| afc_server_url | 数据质量服务对应AFC地址 | http://10.15.15.212:28074 |
| afc_server_token | 数据质量服务对应AFC提供的访问凭证 | 4b65ba17e4564b859e2a8394b7d4f703 |
# 新增任务
选择模型点击【数据应用】->【重复数据检查】，进入重复数据检查页面。
选择【新增任务】，在弹窗中填写任务名称，选择需要检查重复的字段，然后点击提交。
# 编辑任务
点击【编辑】按钮，可以重新编辑任务信息。
# 删除任务
选中要删除的任务并选择【批量删除】，可以删除多个任务。
在右侧更多操作下拉菜单中选择删除，可以删除单个任务。
# 执行任务
点击右侧更多操作下拉菜单中的【执行】，可以执行重复数据检查任务。
# 查看结果
任务执行完成后，点击【查看结果】进入任务结果页面。
如果存在重复字段数据，则会呈现在此页面中。点击【合并数据】，可以对这些数据进行合并操作。
# 合并数据
在弹窗中，可以手动分字段选择需要保留的数据，必须存在两条及以上【生效】或【停用】状态的数据时才能继续合并。合并数据的结果有两种，合并到已有数据与生成新的数据。
# 合并到已有数据
选择这种合并方式，数据列左侧会出现单选框，结果将被合并为此条数据，其状态根据【是否生效】选项变更为【生效】或者【编辑】，其余数据状态更改为【停用】。
# 生成新的数据
选择这种合并方式，结果将形成一条新的数据，其状态根据【是否生效】选项可能为【生效】或者【编辑】，原有数据状态全部更改为【停用】。
