普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
运维指南
  • Copy 转换组件使用说明
  • 组件说明
  • 典型使用场景
  • 1、字段备份 / 留存原始值
  • 2、字段别名适配下游系统
  • 关键注意事项
  • 配置项说明
  • FAQ

# Copy 转换组件使用说明

  • 组件说明
  • 典型使用场景
  • 配置项说明
  • 使用示例
    • ClickHouse同步示例
    • Mysql多表-Copy精确匹配转换多表-同步到StarRocks
  • FAQ

# 组件说明

用于复制已有字段生成新字段(可自定义新字段名),解决需要复用原字段值但保留原字段的场景,比如字段备份、字段别名适配等。

核心逻辑是:基于已有字段的值,创建一个新字段(或覆盖已有字段),新字段与原字段值完全一致,不做任何修改。它不涉及值的计算、类型转换,仅做 “值的复制”。

# 典型使用场景

# 1、字段备份 / 留存原始值

当你需要对某个字段做后续转换(如格式修改、值清洗),但又想留存原始值用于核对、回溯时,可通过 Copy 复制原字段生成备份字段。比如:对 create_time 字段做格式转换(如从时间戳转字符串),先复制为 create_time_ts 留存原始时间戳,避免转换后丢失原始值。

# 2、字段别名适配下游系统

当下游系统需要特定字段名,但你不想修改原字段名(避免影响其他流程)时,可通过 Copy 生成符合下游规范的别名字段。比如:源数据字段是 user_id(业务通用命名),下游 Elasticsearch 要求用 userId(驼峰),但你需要保留 user_id 供其他组件使用,此时复制 user_id = userId。

# 关键注意事项

  • 核心配置:格式为 原字段名 = 目标字段名,支持同时复制多个字段;
  • 若原字段不存在:Copy 不会报错,仅跳过该字段的复制(新字段不会生成);
  • 若目标字段已存在:Copy 会覆盖该字段的原有值(需注意避免误覆盖业务字段);
  • Copy 仅复制值:新字段与原字段的值、类型完全一致,不做任何修改。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 Copy 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码 String 是 自动生成 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
表匹配方式 List 是 正则匹配 两种匹配方式:正则匹配、精确匹配。
正则匹配:需要输入正则表达式。
精确匹配:需要选择精确匹配的库.表。
两种匹配方式可以同时选择。
复制字段 List 是 - 指定源字段与目标字段之间字段复制的映射关系。

# FAQ

← 关系型数据库 DefineSinkType →