批量加载示例

本示例主要演示将文本数据导入Mysql和Oracle、PostgreSQL库中。

主要步骤如下：

• 环境准备
• 新建转换作业
• 拖拽图元
• 配置组件属性
• 运行
• 查看数据
• 提交版本

环境准备

Oracle批量加载组件

需要配置sqlldr，需要环境变量

1. 将以下两个包：instantclient-basic-linux.x64-12.2.0.1.0.zip和instantclient-tools-linux.x64-12.2.0.1.0.zip 解压到指定目录如/home/DI/目录下

   instantclient-basic和instantclient-tools均可在https://www.oracle.com/cn/database/technologies/instant-client/linux-x86-64-downloads.html下载。

2. 在当前用户（如dws用户）的 ~/.bashrc文件中添加

   vim ~/.bashrc
   
   export LD_LIBRARY_PATH=/home/DI/instantclient_12_2
   
   source ~/.bashrc
   

   上述步骤可以解决运行模型时报错：ERROR>/home/DI/instantclient_12_2/sqlldr: error while loading shared libraries: libclntsh.so.12.1: cannot open shared object file: No such file or directory

3. 修改/etc/ld.so.conf，然后刷新

   su root
   vim /etc/ld.so.conf
   
   #add /where/you/install/lib
   /home/DI/instantclient_12_2/
   
   #保存文件并执行sudo ldconfig
   :wq
   sudo ldconfig
   

新建转换作业

点击数据加工上的【...】，选择弹出菜单【新建数据加工作业】，作业名称为：2-批量加载数据。

拖拽图元

依次拖拽输入中的文本文件输入、批量加载中的Mysql批量加载和Oracle批量加载，根据下图所示连线。如下图所示：

配置组件属性

1、双击"文本文件输入"组件，根据下图所示步骤依次配置。
准备一个文件，例如：data2.txt放置/home/dws/infile下

2、双击"Mysql批量加载"组件，根据下图所示步骤依次配置。

3、双击"Oracle批量加载"组件，根据下图所示步骤依次配置。

4、Ctrl+S保存该模型。

运行

点击【运行】按钮，可以运行已经开发完毕的场景。

参考CDC同步关系型数据库示例中的运行

查看数据

通过图中操作查看数据情况

提交版本

当草稿运行正常后，点击【提交】按钮可以将该版本提交到作业调度，每次修改提交都会生成新的版本，可以看到提交的历史版本，并可以随意切换版本。

参考CDC同步关系型数据库示例中的提交版本