普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
FAQ
  • 支持的数据源及同步方案

# 支持的数据源及同步方案

数据同步目前支持关系型数据库、大数据、Kafka 等几十种数据源,各数据源支持的同步方案及读写方式不同,用户可以根据实际需求,在开发作业时的源端和目标端时选择合适的数据源。

数据同步包括全量同步、增量同步,其中增量同步有两种模式:时间戳、CDC。用户可以根据各模块对数据源的支持情况,选择数据同步、数据加工、通用模板进行同步任务的配置。

-:表示没有接入/接出组件

☑:表示支持

✘:表示不支持

数据源 PDI Seatunnel
源 目标 源 目标
ArgoDB ☑全量 ☑自动建表 - ☑自动建表
Clickhouse ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
Doris ☑全量   ☑时间戳增量 ✘自动建表 ☑全量   ☑时间戳增量 ✘自动建表
DM(达梦) ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
Elasticsearch - - ☑全量 ☑自动建表
GBase8s(南大通用 ) ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
HBase ☑全量 ☑自动建表 - ☑自动建表
HDFS 读文件 写文件 读文件 写文件
Hive ☑全量   ☑时间戳增量 ☑自动建表 ☑全量 ☑自动建表
HighGo(瀚高) ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
Hyperbase ☑全量 ☑自动建表 - ☑自动建表
IBM DB2 ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
Inceptor ☑全量   ☑时间戳增量️ ☑自动建表 ☑全量 ☑自动建表
Kafka ☑全量   ☑偏移量 ☑自动建表 ☑全量   ☑偏移量 ☑自动建表
KingbaseES(人大金仓) ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
MySQL ☑全量   ☑时间戳增量   ☑CDC ☑自动建表 ☑全量   ☑时间戳增量   ☑CDC ☑自动建表
MaxCompute ☑全量 ☑自动建表 ☑全量 ☑自动建表
MongoDB ☑全量   ☑CDC ☑自动建表 ☑全量   ☑CDC ☑自动建表
Neo4j - -️ ☑全量 ☑自动建表
OceanBase ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
openGauss ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
Oracle ☑全量   ☑时间戳增量   ☑CDC ☑自动建表 ☑全量   ☑时间戳增量   ☑CDC ☑自动建表
Oscar ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
PostgreSQL ☑全量   ☑时间戳增量   ☑CDC ☑自动建表 ☑全量   ☑时间戳增量   ☑CDC ☑自动建表
RabbitMQ - -️ ☑全量 -
SAP ☑全量 -️ - -️
SQL Server ☑全量   ☑时间戳增量   ☑CDC ☑自动建表 ☑全量   ☑时间戳增量   ☑CDC ☑自动建表
StarRocks ☑全量   ☑时间戳增量 ✘自动建表 ☑全量   ☑时间戳增量 ✘自动建表
UXDB(优炫) ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表
XuguDB(虚谷) ☑全量   ☑时间戳增量 ☑自动建表 ☑全量   ☑时间戳增量 ☑自动建表

← 数据建模 IDE概览 →