普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
运维指南
  • MaxCompute Sink组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# MaxCompute Sink组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • MaxCompute多表数据同步示例
  • FAQ

# 组件说明

MaxCompute Sink 组件。用于将数据写入 MaxCompute 数据库。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 MaxCompute 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码 String 是 自动生成 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
选择数据源 String 是 - 从下拉选项中选择列出的当前项目已经关联的数据源。
选择表 String 是 - 从下拉列表中选择数据表。
分区信息 String 否 - 指定分区。
单级分区:lpt="20250520’ 多级分区(使用逗号隔开):dt="202505",hr="12",city="beijing"。
若不填,则写入非分区表;若表为分区表且未指定,可能导致写入失败
启用upsert语法 Boolean 否 否 当目标表为主键表时,upsert 模式必须是 true。
是否覆盖表/分区 Boolean 否 否 是:覆盖整表或指定分区
否:追加写入
表添加模式 String 否 表不存在时创建 对于目标表的情况,处理方式有四种:
- 重新创建表
- 表不存在时创建
- 表不存在时报告错误
- 忽略对表的处理
数据添加模式 String 否 追加数据 支持四种模式:
1、追加数据:保留表结构,保留原数据(追加写入);
2、同步前删除数据:保留表结构,清空数据;
3、当存在数据时,报告错误:表中存在数据时报错。
4、自定义处理:用户自定义预处理SQL(需配合custom_sql参数)。
缓冲区大小 Int 是 64 缓冲区大小,单位:MB。
缓冲区刷新阈值 Int 否 90 缓冲区刷新阈值,单位:%。
超时时间 Int 否 120000 超时时间,单位:毫秒。
可选参数 Map 否 - 可以根据需求进行配置。可选参数名称可以参考 Seatunnel 官方手册。
json 格式如:
{
"clickhouse.config": "{ "max_rows_to_read" :100, "read_overflow_mode": "throw" }"
}

# FAQ

← LocalFile MinIO →