PrimetonMDM

Appearance

用户操作手册/管理门户/数据采集/作业流管理

作业流管理 ​

作业流管理即配置作业流将上游业务数据推送至主数据模型。

前置工作：需要成功创建调度引擎，并能正常使用

调度引擎管理 ​

访问路径【公共资源】→ 【调度引擎管理】进入调度引擎页面。

新建调度引擎 ​

新建调度引擎时需要注意调度引擎说明。

数据库填写调度引擎所在的数据库，填写完毕后点击【开始测试】，进行连通性测试，测试成功后点击【确定】。

调度引擎验证：可以通过查看【执行资源状态】来查看调度引擎是否正常运行。

修改数据库信息 1.找到afcenter所属的数据库执行下列sql

sql
UPDATE AFC_R_PARTY_ROLE SET ROLE_ID = (SELECT ID FROM AFC_ROLE WHERE CODE = 'dws-role-project-manager') WHERE ID = 'mdm-03';

2.找到主数据mdm所属数据库执行下列sql

sql
##其中SCHEDULE_CODE的值为新建调度引擎时的引擎编码
UPDATE DWS_PRJ_PROJECT SET SCHEDULE_CODE = '' WHERE ID = '4';

作业流 ​

访问路径【主数据管理门户】→ 【数据采集】→【作业流管理】进入作业流页面。

条件查询作业流 ​

可以根据模型名称、作业流名称、作业流模板、状态，进行条件查询

新增 ​

按要求输入必要参数，进行作业流配置，以下是对作业流各配置项解释：

  • 基本信息：

  • 数据模型：需要将上游系统同步数据到主数据的模型。

  • 作业流模板：

    1. 主数据全量同步：将上游系统数据全量同步至主数据模型中。

    2. 主数据增量同步(时间戳)：将上游系统中，【源表】选定的【时间字段】的值，在主数据模型【目标表】选定的【目标表时间字段】的最新值之后的数据，同步至主数据模型中（源表-时间字段>目标表-目标表时间字段最新值）。

      ​

  • 执行策略修改：默认选择串行优先，对作业流执行影响不大。

  • 数据添加方式：

    1. 【作业流模板】为【主数据全量同步】时存在该选项。【作业流模板】为【主数据增量同步(时间戳)】时，数据添加方式默认为【追加数据】。
    2. 全量覆盖：将该条作业流曾经同步至数据模型的数据全量覆盖。
    3. 追加数据：不会覆盖该条作业流曾经同步至数据模型的数据，追加同步数据。

  • 分割数据行数：单次同步数据请求携带的数据量。

  • 业务主键：主数据模型的业务主键。

  • 数据生效策略：数据同步之后的数据状态，立即生效或者编辑状态。

  • 源表和目标表：

  • 源表：上游系统需要将数据同步到主数据模型的数据源配置信息。

  • 目标表：根据数据模型选择，自动匹配主数据模型对应的数据源配置信息。

  • 时间字段和目标表时间字段：当作业流模板为【主数据增量同步(时间戳)】时，选择【源表】中【时间字段】大于【目标表】中【目标表时间字段】中最新值的数据进行同步。

  • 字段映射：选择【源表】和【目标表】中字段，建立数据同步时所需同步的字段映射关系。

编辑 ​

修改作业流配置

删除 ​

删除作业流配置

上线 ​

启用作业流配置

详情 ​

查看作业流配置

下线 ​

停用作业流配置

运行 ​

  • 立即执行作业流配置
  • 通知策略：当作业流结束，根据作业流状态发送作业流执行信息通知邮件，包含任何状态都不发，成功发，失败发，成功或失败都发。（需要配置告警组才生效）
  • 告警组：选择通知策略||超时报警||发生容错时，会发送流程信息或邮件到通知组里的所有成员。
  • 流程优先级：流程运行的优先级，分五个等级：最高（HIGHEST），高(HIGH),中（MEDIUM）,低（LOW），最低（LOWEST）。当 master 线程数不足时，级别高的流程在执行队列中会优先执行，相同优先级的流程按照先进先出的顺序执行。
  • worker分组：该流程只能在指定的 worker 机器组里执行。默认是 Default，可以在任一 worker 上执行。

定时 ​

  • 只有作业流配置中【作业流模板】为【主数据增量同步(时间戳)】时，才能选择定时执行。
    • 点击"作业流名称"对应的【定时】按钮，在定时弹窗中可以设置定时调度策略，支持 Cron 表达式设置周期性调度。
  • 是否启用：是否启用定时功能

作业流实例 ​

点击菜单“作业流实例”，跳转到"作业流实例"页面，可以看到该调度引擎下已经运行过的作业流实例记录。

用户可以对作业流实例的执行重跑、恢复失败、暂停、停止、删除、运行图等操作。

  • 重跑：重新执行已经终止的作业流。
  • 恢复失败：针对失败的作业流，可以执行恢复失败操作，从失败的节点开始执行。
  • 暂停：对正在运行的作业流进行暂停操作，系统状态变为等待执行，会等待正在执行的任务结束，暂停下一个要执行的任务。
  • 停止：对正在运行的流程进行停止操作，后台会先 kill worker 进程,再执行 kill -9 操作。
  • 删除：删除作业流实例及作业流实例下的任务实例。点击【确认】按钮，完成删除操作。 点击【取消】按钮，取消删除操作。
  • 日志：查看该作业流实例日志情况
  • 问题数据：查看作业流实例运行同步数据过程中的问题数据

搜索 ​

点击作业流管理、作业流实例列表右上方的【高级】按钮，输入搜索条件，点击【搜索】按钮，可以按照条件完成模糊查询，点击【重置】按钮，可以清空搜索条件。