普元数据开发平台
产品介绍
安装部署

# Seatunnel 程序

# 说明

Seatunnel 程序是 DolphinScheduler 内置的任务类型，可直接调度 SeaTunnel 数据同步 / ETL 任务，支持 Zeta（内置）、Spark、Flink 三种引擎，适合异构数据源同步与数据处理。

# 前置环境准备

  1. 安装 SeaTunnel（所有 Worker 节点）
  • 下载并解压 SeaTunnel（建议 2.3.x+），配置 SEATUNNEL_HOME
  • 安装所需 Connector（如 JDBC、MySQL、Doris、Kafka 等）
  • 放入对应数据库驱动（如 mysql-connector-java-8.0.30.jar）到 ${SEATUNNEL_HOME}/lib/
  1. DolphinScheduler 环境配置 编辑 bin/env/dolphinscheduler_env.sh，添加：
# 必须配置
export SEATUNNEL_HOME=${SEATUNNEL_HOME:-/opt/seatunnel-2.3.12}
# 可选：JVM 优化
export SEATUNNEL_JAVA_OPTS="-Xms4G -Xmx4G"

保存后重启 DolphinScheduler 集群。

  1. 资源中心（推荐）
  • 通过 项目配置》文件管理 上传 SeaTunnel 配置文件（.conf）到 DolphinScheduler 资源中心，便于统一管理。

# 配置项说明

配置项 默认值 描述
启动脚本 - 选择 SeaTunnel 核心运行脚本及版本（单机 / 集群，集群依赖 Spark/Flink 引擎）。
部署方式 - 支持 cluster 和 local 两种模式的部署。
自定义配置 开启 开启：用户可直接填写 SeaTunnel 配置（env/source/transform/sink）。
关闭：用户可以从资源列表中选择。

# 启动脚本说明：

注意

脚本名称需与 Worker 节点 ${SEATUNNEL_HOME}/bin/ 目录下的脚本完全一致。

启动脚本 对应引擎 适用场景 DolphinScheduler 配置值
seatunnel.sh Zeta（内置引擎） 轻量批处理、无 Spark/Flink 集群环境 seatunnel.sh
start-seatunnel-spark.sh 依赖 Spark 集群的批处理任务 start-seatunnel-spark.sh
start-seatunnel-spark-connector-v2.sh Spark 1.x 依赖 Spark 集群的批处理任务 start-seatunnel-spark-connector-v2.sh
start-seatunnel-spark-2-connector-v2.sh Spark 2.x 依赖 Spark 集群的批处理任务 start-seatunnel-spark-2-connector-v2.sh
start-seatunnel-spark-3-connector-v2.sh Spark 3.x 依赖 Spark 集群的批处理任务 start-seatunnel-spark-3-connector-v2.sh
start-seatunnel-flink.sh 流处理 / 批处理、依赖 Flink 集群 start-seatunnel-flink.sh
start-seatunnel-flink-connector-v2.sh Flink 1.+ 流处理 / 批处理、依赖 Flink 集群 start-seatunnel-flink-connector-v2.sh
start-seatunnel-flink-13-connector-v2.sh Flink 1.13+ 流处理 / 批处理、依赖 Flink 集群 start-seatunnel-flink-13-connector-v2.sh
start-seatunnel-flink-15-connector-v2.sh Flink 1.15+ 流处理 / 批处理、依赖 Flink 集群 start-seatunnel-flink-15-connector-v2.sh

# 配置示例（生产常用）

示例 1：Zeta 引擎（最简配置）

  • 启动脚本：seatunnel.sh
  • 部署方式：local
  • 选项参数：空
  • 脚本：完整的 SeaTunnel HOCON 配置（如 MySQL → Doris）。

示例 2：Spark 引擎（YARN Cluster 模式）

  • 启动脚本：start-seatunnel-spark-3-connector-v2.sh
  • 部署方式：cluster
  • Master：yarn
  • 选项参数：--deploy-mode cluster --queue data_sync --executor-memory 4G --num-executors 10
  • 脚本：适配 Spark 的 SeaTunnel 配置。

# FAQ

无

← Procedure程序 →