普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
FAQ
  • PDI-MySQL到主数据增量同步示例
  • 准备数据
  • 新建通用模板作业
  • 配置来源数据源、数据库名称、库名称及主数据模型
  • 配置源表时间戳字段及目标表时间戳字段
  • 配置字段映射
  • 通用配置
  • 保存草稿
  • 运行
  • 提交版本

# PDI-MySQL到主数据增量同步示例

本示例主要介绍 Primeton DI 处理引擎下,使用 MySQL 到 主数据 增量同步进行单表数据同步场景。

主要步骤如下:

  • 准备数据
  • 新建通用模板作业
  • 配置数据源/库
  • 配置表名映射
  • 同步配置
  • 通用配置
  • 指标日志
  • 保存草稿
  • 运行
  • 提交版本

# 准备数据

1、创建 MySQL 数据库 example,在数据库 example 中创建一个表 fr_model01_origin。

CREATE TABLE `fr_model01_origin` (
  `FIELDNUM` decimal(32,0) DEFAULT NULL COMMENT 'fieldNum',
  `FIELDDATE` date DEFAULT NULL COMMENT 'fieldDate',
  `FIELDSTR` varchar(32) DEFAULT NULL COMMENT 'fieldStr',
  `FIELDTIME` datetime DEFAULT NULL COMMENT 'field04Time',
  `ANE` varchar(32) DEFAULT NULL COMMENT 'ane',
  `WDE` varchar(32) DEFAULT NULL COMMENT 'WDE'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(1, '2024-10-15', 'bbb', '2024-10-15 15:21:06', NULL, NULL);
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(0, '2024-10-17', 'aaa', '2024-10-15 15:01:54', NULL, NULL);
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(0, '2024-10-07', '是的冯绍峰', '2024-10-16 00:00:00', NULL, NULL);
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(2, '2025-01-12', 'ccc', '2025-01-13 00:15:10', 'ccc', 'ccc');
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(3, '2025-01-12', 'ddd', '2025-01-13 00:15:46', 'ddd', 'ddd');
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(5, '2025-01-12', '测试', '2025-02-11 00:15:46', 'aaa', 'aaa');


2、在【应用中心】>【业务组件】>【业务字段】菜单中,配置“DWS_MDM_SYNC”类型字典。

字典项编号 字段名称 字段描述
DWS_MDM_QUERY_MODEL http://127.0.0.1:8090/api/mdm/data-cleaning/model-info/page-query 查询主数据模版地址(主数据提供)
DWS_MDM_RECEIVE_URL http://127.0.0.1:8090/api/mdm/data-cleaning/batch/${modelId} 向主数据发送数据的HTTP地址
DWS_MDM_RECEIVE_HTTP_METHOD POST 向主数据发送数据的HTTP方法
DWS_MDM_AFC_TOKEN c0101b6109e8478784ceb8897159fe2b 主数据的登录token
DWS_MDM_TARGET_DATASOURCE_ID MDM_PUB 主数据目标数据源编码(需配置主数据的目标数据源)

# 新建通用模板作业

点击资源树节点上的【...】,选择弹出菜单【新建通用模板作业】,填写"模板名称",选择"模板类型",点击【确定】按钮。

mysql2mdm-timestamp

# 配置来源数据源、数据库名称、库名称及主数据模型

选择来源的"数据源"、"库名称"、"表名称"以及"主数据模型"。

mysql2mdm-timestamp

# 配置源表时间戳字段及目标表时间戳字段

选择来源源表时间戳字段及目标表时间戳字段。

mysql2mdm-timestamp

# 配置字段映射

  1. 点击字段映射中的【获取字段】,可以对源表中的字段进行改名修改。

mysql2mdm-timestamp

  1. 点击选择规则中的【获取字段】,可以对源表中的字段进行数据清洗处理。

mysql2mdm-timestamp

  1. 配置主数据HTTP接口的请求头和请求参数。(可选配置)

mysql2mdm-timestamp

# 通用配置

在通用配置中可以配置任务优先级、Worker 分组、命名参数、本地参数、超时告警。

可以参考示例关系型表数据同步示例 中的"通用配置"说明。

# 保存草稿

如果所有组件属性都已设置完毕,点击【保存】按钮,可以看到保存过的历史草稿,并可以随意切换草稿。(草稿只保存最近 10 个)

可以参考示例关系型表数据同步示例 中的"保存草稿"说明。

# 运行

点击【运行】按钮,可以运行已经开发完毕的场景,在日志栏可以看运行日志及运行结果。

# 提交版本

当草稿运行正常后,点击【提交】按钮可以将该版本提交到作业调度,每次修改提交都会生成新的版本,可以看到提交的历史版本,并可以随意切换版本。

提交后的版本,可以在作业调度中进行"定时"调度配置。

可以参考示例关系型表数据同步示例 中的"提交版本"说明。

← PDI-关系型数据库到主数据同步示例 PDI-时间戳Hive到关系型数据库增量同步示例 →