主数据数据清洗问题排查指南

排查指南详细说明

通用前置检查：

• 确认版本：MDM 7.3.0
• 确认部署模式：
  • 微服务版：需确认QualityCube服务正常运行
  • 套件版：QualityCube已集成在套件中
• 检查数据源配置：确认检核任务中配置的“问题数据存储”数据源是否可用
• 查看执行日志：通过检核任务、检核结果的“执行日志”查看详细错误信息
• 查阅补丁列表： MDM 7.3 补丁列表: 主数据7.3补丁列表

---

场景一：检核任务异常

• 问题现象：

  1. 新增检核任务时保存失败
  2. 检核任务执行失败，无结果生成
  3. 定时检核任务未按预期时间执行
  4. 检核任务执行后，问题数据未写入指定数据源
  5. 批量启用/停用检核任务失败

• 排查步骤：

  1. 第一步：排除产品BUG

     • 操作：在MDM官方补丁列表中搜索关键词 检核任务、执行
     • 相关补丁示例：
       • MDM_7.3_ALL_20251125_P1（修复检核任务修改调度类型时请求报文expression参数缺失）
       • MDM_7.3_SERVER_20251114_P1（修复多数据库兼容性问题：MySQL5/SqlServer/OpenGauss/PostgreSql/DM执行报错，未生成错误数据表）
       • MDM_7.3_UI_20251031_P1（修复数据检核部分数据源查询schema接口缺少catalog参数）
       • MDM_7.3_UI_20260209_P1（修复业务门户问题数据根据任务名称查询未生效）
     • 解决方案：
       • 1.优先使用产品最新补丁合集，见补丁列表中补丁合集列表
       • 2.若找到描述匹配的补丁，则申请并应用

  2. 第二步：根据问题现象排查

     • 现象：检核任务保存失败

       • 排查项：检核任务名称、数据模型、执行频度等必填项是否已填写
       • 排查项：问题数据存储的“数据源”和“数据库”是否已正确配置且可用
       • 排查项：“告警规则”和“通知方式”配置是否正确
       • 排查项：浏览器控制台是否有JS报错
       • 解决方案：
         • 补充完整必填项信息
         • 在“公共资源”中配置可用的数据源并重新选择
         • 如不需要告警，可不选择告警规则
         • 清理浏览器缓存后重试

     • 现象：检核任务执行失败

       • 排查项：查看检核任务列表的“执行日志”，获取具体错误信息
       • 排查项：被检核的模型是否存在，且数据表可正常访问
       • 排查项：问题数据存储的数据源是否有写入权限
       • 排查项：检核任务下是否至少配置了一条检核规则
       • 解决方案：
         • 根据日志错误信息调整配置
         • 为检核任务添加至少一条检核规则
         • 申请补丁解决数据库兼容性或未生成错误数据表问题

     • 现象：定时任务未执行

       • 排查项：检核任务的“执行频度”配置是否正确
         • once：只执行一次，需手动触发
         • 其他Cron表达式：按设定时间自动执行
       • 排查项：任务状态是否为“启用”
       • 解决方案：
         • 如需自动执行，设置正确的Cron表达式
         • 启用检核任务
         • 申请补丁 MDM_7.3_ALL_20251125_P1 修复调度参数缺失问题

     • 现象：问题数据未写入指定数据源

       • 排查项：检核任务中配置的“数据源”和“数据库”是否正确
       • 排查项：该数据源是否有写入权限
       • 排查项：查看执行日志，确认检核任务是否成功执行并检出了问题数据
       • 解决方案：
         • 在“公共资源”中测试数据源连接，确保可用
         • 重新选择正确的数据源和数据库
         • 如数据库是DM/PostgreSql，申请补丁 MDM_7.3_SERVER_20251114_P1

---

场景二：检核规则异常

• 问题现象：

  1. 新增检核规则时保存失败
  2. 检核规则执行后，未检出预期的问题数据（漏检）
  3. 检核规则执行后，误报大量问题数据（误检）
  4. 规则类型选择后，条件配置项显示不全
  5. 批量删除检核规则失败
  6. 错误信息未按配置提示

• 排查步骤：

  1. 第一步：排除产品BUG

     • 操作：搜索关键词 检核规则、规则类型、条件
     • 相关补丁示例：
       • MDM_7.3_SERVER_20260121_P1（修复数据操作未通过时，错误信息未按照校验约束配置提示）
     • 解决方案：
       • 1.优先使用产品最新补丁合集，见补丁列表中补丁合集列表
       • 2.若找到描述匹配的补丁，则申请并应用

  2. 第二步：根据问题现象排查

     • 现象：空值检查规则未生效

       • 规则说明：检查目标字段的值是否为空，可多个字段联合检查
       • 排查项：规则配置中是否正确选择了需要检查的字段
       • 排查项：字段在数据库中确实存在空值
       • 解决方案：
         • 重新选择字段，确保字段编码正确
         • 如需联合检查多个字段，在“字段”选择中配置多个字段

     • 现象：值域检查规则误检

       • 规则说明：检查目标字段的值是否在指定的取值范围内
       • 排查项：“值域”配置是否正确，值之间是否使用正确分隔符
       • 排查项：值域中的值与字段实际数据类型是否匹配
       • 解决方案：
         • 修正值域配置，确保格式正确
         • 示例：值域{1，3}表示只允许1和3两个值

     • 现象：规范检查规则未生效

       • 规则说明：检查目标字段的值是否符合指定的规范格式（正则表达式）
       • 排查项：正则表达式是否正确
       • 解决方案：修正正则表达式后重新执行检核任务

     • 现象：重复数据检查规则误检

       • 规则说明：检查目标字段的值是否存在重复，可支持单个或多个字段
       • 排查项：是否选择了正确的字段组合
       • 排查项：是否忽略了大小写、空格等影响因素
       • 解决方案：调整字段组合，确保能唯一标识数据

     • 现象：及时性检查规则未生效

       • 规则说明：检查数据的及时性，需指定日期时间字段，并设置误差时间
       • 排查项：选择的日期时间字段是否正确
       • 排查项：“误差时间”单位（天/小时/分钟）和数值设置是否合理
       • 解决方案：
         • 重新选择日期时间字段
         • 调整误差时间设置
         • 示例：误差时间1天，表示检核字段在检查时间+1天以后的问题数据

---

场景三：检核结果/问题数据异常

• 问题现象：

  1. 检核任务执行后，检核结果页面无数据
  2. 问题数据列表显示不全或无法翻页
  3. 点击问题数据中的字段值，无法查看检核规则详情
  4. 更新问题数据后，数据状态未正确变更
  5. 历史检核结果无法查看
  6. 检核规则执行日志无法查看

• 排查步骤：

  1. 第一步：排除产品BUG

     • 操作：搜索关键词 检核结果、问题数据、历史记录
     • 相关补丁示例：
       • MDM_7.3_UI_20251117_P1（优化问题数据页面）
       • MDM_7.3_UI_20260209_P1（修复业务门户问题数据根据任务名称查询未生效）
       • MDM_7.3_SERVER_20251114_P1（修复DM/PostgreSql未生成错误数据表问题）
       • MDM_7.3_UI_20251120_P1（优化待办任务批量选择）
     • 解决方案：
       • 1.优先使用产品最新补丁合集，见补丁列表中补丁合集列表
       • 2.若找到描述匹配的补丁，则申请并应用

  2. 第二步：根据问题现象排查

     • 现象：检核结果无数据

       • 排查项：查看检核任务的“执行日志”，确认任务是否执行成功
       • 排查项：检查检核规则配置，确认是否有数据命中规则
       • 排查项：问题数据存储的数据源中是否生成了相应的表
       • 解决方案：
         • 根据执行日志调整规则配置
         • 申请补丁解决未生成错误数据表问题

     • 现象：问题数据显示不全

       • 排查项：列表右上角的“高级”搜索条件是否限制了结果
       • 排查项：分页组件是否正常
       • 解决方案：
         • 重置搜索条件
         • 清理浏览器缓存后重试

     • 现象：无法查看规则详情

       • 排查项：点击问题数据中高亮标记的字段值，应弹出检核规则详情
       • 解决方案：如无法弹出，检查浏览器控制台是否有JS报错

     • 现象：更新问题数据失败

       • 排查项：当前用户是否有该模型的更新权限
       • 排查项：更新后的数据是否满足模型的约束条件
       • 排查项：更新时选择“生效”还是“确定”：
         • 生效：数据更新后直接生效
         • 确定：数据更新后为编辑状态
       • 解决方案：
         • 在“数据授权”中配置更新权限
         • 确保更新后的数据符合约束
         • 根据需求选择正确的保存方式

     • 现象：历史检核结果无法查看

       • 排查项：在检核结果页面，点击“历史记录”按钮查看
       • 解决方案：历史记录中只支持查看问题数据，不支持修改

---

场景四：相似检索配置异常

• 问题现象：

  1. 新增相似检索配置时保存失败
  2. 配置的过滤条件不生效
  3. 选择的算法权重配置后不生效
  4. 相似度阈值设置后，检索结果不符合预期

• 排查步骤：

  1. 第一步：排除产品BUG

     • 操作：搜索关键词 相似检索、配置
     • 相关补丁示例：
       • MDM_7.3_UI_20251015_P1（解决相似检索因分辨率问题无法显示）
       • MDM_7.3_UI_20260302_P1（优化相似度检索列表横向滚动条样式）
       • MDM_7.3_SERVER_20260302_P1（修复MDM_SIMILARITY_RULE字段数据类型错误，涉及达梦/Oracle/Gbase）
     • 解决方案：
       • 1.优先使用产品最新补丁合集，见补丁列表中补丁合集列表
       • 2.若找到描述匹配的补丁，则申请并应用

  2. 第二步：根据问题现象排查

     • 现象：配置保存失败

       • 排查项：数据模型、相似度阈值等必填项是否已填写
       • 排查项：是否至少配置了一条检索字段和算法
       • 排查项：如涉及达梦/Oracle/Gbase数据库，注意数据类型问题
       • 解决方案：
         • 补充完整必填项信息
         • 新增至少一条检索配置
         • 申请补丁 MDM_7.3_SERVER_20260302_P1

     • 现象：过滤条件不生效

       • 排查项：过滤条件的字段选择和条件值是否正确
       • 排查项：过滤条件中的字段在模型中是否存在
       • 解决方案：修正过滤条件后重新保存

     • 现象：算法权重不生效

       • 算法说明：
         • 余弦相似：适合长文本相似度比较
         • 词性和词序：适合句子结构匹配
         • 短语相似：适合短文本检索
         • 概念相似：适用于跨领域同义词检索
       • 解决方案：根据业务场景选择合适的算法和权重

---

场景五：相似检索执行异常

• 问题现象：

  1. 相似检索查询无结果返回
  2. 检索结果中相似度计算不准确
  3. 合并查询结果时失败
  4. 合并后的数据状态不正确
  5. 检索列表横向滚动条异常

• 排查步骤：

  1. 第一步：排除产品BUG

     • 操作：搜索关键词 相似检索、合并
     • 相关补丁示例：
       • MDM_7.3_UI_20260302_P1（优化相似度检索列表横向滚动条样式）
       • MDM_7.3_UI_20251015_P1（解决相似检索因分辨率问题无法显示）
     • 解决方案：
       • 1.优先使用产品最新补丁合集，见补丁列表中补丁合集列表
       • 2.若找到描述匹配的补丁，则申请并应用

  2. 第二步：根据问题现象排查

     • 现象：查询无结果

       • 排查项：选择的相似检索配置是否正确
       • 排查项：输入的条件值是否与数据匹配
       • 排查项：相似度阈值是否设置过高（1-100，低于阈值不显示）
       • 解决方案：
         • 选择正确的检索配置
         • 调整输入条件值
         • 适当降低相似度阈值

     • 现象：相似度计算不准确

       • 排查项：配置的算法和权重是否适合当前数据类型
       • 解决方案：调整算法权重或更换算法

     • 现象：合并查询结果失败

       • 合并说明：点击“合并查询结果”，从多条相似数据中取不同字段组成新数据，或更新一条数据
       • 排查项：合并时，每一列必须选择一项数据
       • 排查项：“合并方式”选择是否正确：
         • 合并到已有数据：更新现有数据
         • 生成新的数据：创建新数据
       • 解决方案：
         • 确保每列都选择了数据
         • 根据需求选择正确的合并方式

     • 现象：合并后数据状态不正确

       • 排查项：合并时“是否生效”选项的选择
       • 解决方案：
         • 选择“是”则合并后数据直接生效
         • 选择“否”则合并后数据为编辑状态
         • 被选中字段的原数据会被设置为停用

---

场景六：质量告警异常

• 问题现象：

  1. 新增告警配置时保存失败
  2. 配置的告警规则未触发
  3. 告警触发后未收到通知
  4. 批量生效/挂起告警配置失败

• 排查步骤：

  1. 第一步：排除产品BUG

     • 操作：搜索关键词 质量告警、告警
     • 相关补丁示例：
       • MDM_7.3_UI_20251119_P1（修复编辑告警配置选择插件保存无效问题）
       • MDM_7.3_UI_20260115_P1（修复告警策略配置无法弹窗新增、修改按钮）
     • 解决方案：
       • 1.优先使用产品最新补丁合集，见补丁列表中补丁合集列表
       • 2.若找到描述匹配的补丁，则申请并应用

  2. 第二步：根据问题现象排查

     • 现象：告警配置保存失败

       • 排查项：告警名称、阈值类型、阈值关系、阈值、告警级别等必填项
       • 排查项：“生效开关”是否开启
       • 解决方案：
         • 补充完整必填项信息
         • 开启生效开关

     • 现象：告警未触发

       • 配置说明：
         • 阈值类型：数值或百分比
         • 阈值关系：小于、小于等于、等于、大于、大于等于
         • 阈值：具体数值或百分比值
         • 告警级别：一般、中等、严重
       • 排查项：阈值设置是否合理，问题数据量是否满足触发条件
       • 排查项：告警配置是否已关联到检核任务
       • 解决方案：
         • 调整阈值设置
         • 在检核任务中关联告警规则
         • 确认告警配置已生效

     • 现象：告警触发后未收到通知

       • 排查项：检核任务中配置的“通知方式”是否正确（邮箱/微信/钉钉）
       • 排查项：通知方式的相关配置是否完整
       • 解决方案：
         • 配置正确的通知方式