# 支持的数据源及同步方案
数据同步目前支持关系型数据库、大数据、Kafka 等几十种数据源,各数据源支持的同步方案及读写方式不同,用户可以根据实际需求,在开发作业时的源端和目标端时选择合适的数据源。
数据同步包括全量同步、增量同步,其中增量同步有两种模式:时间戳、CDC。用户可以根据各模块对数据源的支持情况,选择数据同步、数据加工、通用模板进行同步任务的配置。
说明
PDI:表示开发的数据加工类作业,底层执行引擎是 Primeton DI;
Seatunnel:表示开发的数据同步类作业,底层执行引擎是 Seatunnel。
➖:表示没有接入/接出组件
✔️:表示支持
❌:表示不支持
| 数据源 | PDI | Seatunnel | ||
|---|---|---|---|---|
| 源 | 目标 | 源 | 目标 | |
| ArgoDB | ✔️全量 | ✔️自动建表 | ➖ | ✔️自动建表 |
| AnalyticDB MySQL | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| AnalyticDB PostgreSQL | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| Clickhouse | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| Doris | ✔️全量 ✔️时间戳增量 | ❌自动建表 | ✔️全量 ✔️时间戳增量 | ❌自动建表 |
| DM(达梦) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| Elasticsearch | ➖ | ➖ | ✔️全量 | ✔️自动建表 |
| GBase8a(南大通用 ) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| GBase8s(南大通用 ) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| HBase | ✔️全量 | ✔️自动建表 | ➖ | ✔️自动建表 |
| HDFS | 读文件 | 写文件 | 读文件 | 写文件 |
| Hive | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 | ✔️自动建表 |
| HighGo(瀚高) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| Hyperbase | ✔️全量 | ✔️自动建表 | ➖ | ✔️自动建表 |
| IBM DB2 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| Inceptor | ✔️全量 ✔️时间戳增量️ | ✔️自动建表 | ✔️全量 | ✔️自动建表 |
| Kafka | ✔️全量 ✔️偏移量 | ✔️自动建表 | ✔️全量 ✔️偏移量 | ✔️自动建表 |
| KingbaseES(人大金仓) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| MariaDB | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| MaxCompute | ✔️全量 | ✔️自动建表 | ✔️全量 | ✔️自动建表 |
| MySQL | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 ✔️CDC | ✔️自动建表 |
| MinIO | 读文件 | 写文件 | 读文件 | 写文件 |
| MongoDB | ✔️全量 | ✔️自动建表 | ✔️全量 ✔️CDC | ✔️自动建表 |
| Neo4j | ➖ | ➖️ | ✔️全量 | ✔️自动建表 |
| OceanBase | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| openGauss | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| Oracle | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 ✔️CDC | ✔️自动建表 |
| Oscar(神通) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| PostgreSQL | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 ✔️CDC | ✔️自动建表 |
| RabbitMQ | ➖ | ➖️ | ✔️全量 | ➖ |
| Redis | ➖ | ➖️ | ✔️全量 | ➖ |
| RocketMQ | ➖ | ➖️ | ✔️全量 | ➖ |
| SAP | ✔️全量 | ➖️ | ➖ | ➖️ |
| SAP HANA | ✔️全量 ✔️时间戳增量 | ❌自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| SQL Server | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 ✔️CDC | ✔️自动建表 |
| StarRocks | ✔️全量 ✔️时间戳增量 | ❌自动建表 | ✔️全量 ✔️时间戳增量 | ❌自动建表 |
| TDSQL | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| TiDB | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 ✔️CDC | ✔️自动建表 |
| UXDB(优炫) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| Vastbase(海量) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |
| XuguDB(虚谷) | ✔️全量 ✔️时间戳增量 | ✔️自动建表 | ✔️全量 ✔️时间戳增量 | ✔️自动建表 |