普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
SDK开发指南
FAQ
  • 将Mysql的数据写入HBase中
  • 准备数据
  • 新建同步作业
  • 拖拽图元
  • 配置组件属性
  • 运行
  • 查看数据
  • 提交版本

# 将Mysql的数据写入HBase中

本示例主要演示从Mysql数据库orderinfo_string表读取数据,写入HBase中。

主要步骤如下:

  • 准备数据
  • 新建同步作业
  • 拖拽图元
  • 运行
  • 查看数据
  • 提交版本

# 准备数据

1、在Mysql数据库中创建表

CREATE TABLE `orderinfo_string`  (
  `ordercode` varchar(32) NOT NULL COMMENT '订单号',
  `amount` int COMMENT '数量',
  `price` varchar(32) DEFAULT NULL COMMENT '价格',
  `manufacturer` varchar(32)  COMMENT '厂商',
  `createtime` varchar(22)  COMMENT '创建时间',
  `createuser` varchar(32)  COMMENT '创建人',
  `updatetime` varchar(22)  COMMENT '更新时间',
  PRIMARY KEY (`ordercode`) 
)  COMMENT = '订单表' ;

-- ----------------------------
-- Records of orderinfo_string
-- ----------------------------
INSERT INTO `orderinfo_string` VALUES ('1', 551453, '£766.70', 'the lazy dogThe quick brown', 'brown fox ju', 'quick brown fox jumps over the l', 'fox');
INSERT INTO `orderinfo_string` VALUES ('10', 505761, '£565.33', 'over the lazy dogThe qui', 'fox jumps ove', 'dogThe q', 'jumps');
INSERT INTO `orderinfo_string` VALUES ('100', 217917, '£591.96', 'dogTh', 'brown fox j', 'dogThe quick brown fo', 'ogThe quick brown');
INSERT INTO `orderinfo_string` VALUES ('1000', 429844, '£911.92', 'brown fox jumps over the lazy', 'over the', 'lazy dogTh', 'the lazy ');
INSERT INTO `orderinfo_string` VALUES ('1001', 291813, '£162.72', 'over the', 'fox jumps ove', 'fox ju', 'over the l');
INSERT INTO `orderinfo_string` VALUES ('1002', 34507, '£775.86', 'laz', 'dogThe quick brown', 'lazy dog', 'quick brown fox ju');
INSERT INTO `orderinfo_string` VALUES ('1003', 217625, '£476.64', 'gThe quick brown fox jumps over', 'over the la', 'over the', 'fox jumps over the laz');
INSERT INTO `orderinfo_string` VALUES ('1004', 83979, '£990.91', 'The quick brown fox jumps over ', 'over', 'bro', 'quick br');
INSERT INTO `orderinfo_string` VALUES ('1005', 284256, '£625.18', 'jum', 'jump', 'quick brown ', 'over the lazy ');
INSERT INTO `orderinfo_string` VALUES ('1006', 275539, '£894.28', 'gThe quick brown fox jumps', 'quick b', 'over the lazy dogThe quick brown', 'the ');

# 新建同步作业

点击数据同步上的【...】,选择弹出菜单【新建数据同步作业】,作业名称为:mysql-hbase。

# 拖拽图元

依次拖拽数据源中的JDBC Source组件和目标中的HBase Sink组件,依次连线。如下图所示:

hbase

# 配置组件属性

1、双击"JDBC Source"组件,根据下图所示步骤依次配置。

hbase

2、双击"HBase Sink"组件,根据下图所示步骤依次配置。

hbase

3、Ctrl+S保存该模型。

# 运行

点击【运行】按钮,可以运行已经开发完毕的场景,在日志栏可以看运行日志及运行结果。

hbase

# 查看数据

查看hbase数据。

hbase

# 提交版本

当草稿运行正常后,点击【提交】按钮可以将该版本提交到作业调度,每次修改提交都会生成新的版本,可以看到提交的历史版本,并可以随意切换版本。

提交后的版本,可以在作业调度中进行"定时"调度配置。

hbase

← 将neo4j数据库数据经过处理后写入Kafka CDC通过FilterRowKind组件过滤数据 →