普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
运维指南
  • S3文件接入组件使用说明
  • 组件说明
  • 配置项说明

# S3文件接入组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • S3文件输入-输出

# 组件说明

用于从 S3 文件系统上获取文件流。

# 配置项说明

配置名称 数据类型 是否必须 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择数据源 String 是 - 当前输入绑定的数据源名称,从下拉选项中列出的指定的关联类型(HDFS)的数据源进行选择。并对文件进行过滤只显示文本文件类型。
文件目录 String 是 - 读取数据的文件/目录来源。
正则匹配 String 是 - 指定要用于选择上一个选项中指定的目录中文件的正则表达式。例如,您希望处理扩展名为 .txt 的所有文件则写为*.txt
正则排除 String 是 - 排除满足此正则表达式指定条件的所有文件(位于给定位置)。
标识文件传输 Boolean 是 否 是否用标识文件启动传输操作。
标识文件名 String 是 - 启用“标识文件传输”时,需要输入文件名,当此读取到该文件后开始传输。
标识文件不存在操作 String 否 错误 启用“标识文件传输”时,当该标识文件不存在时的操作设置。两种:等待、错误。
生成目标标识文件 String 是 否 是否用目标标识文件结束传输操作。
目标标识文件名称 String 是 - 启用“生成目标标识文件”时,需要输入文件名,当此读取到该文件后标识传输结束。
目标标识文件格式 String 否 无内容 三种选项:无内容、生成文件清单, 内有源文件名、生成文件清单, 内有源文件名字节数。
读缓冲区大小 Integer 否 64 设置读缓冲区大小,单位:K。
文件读取并行数 Integer 否 5 设置文件读取的并行数。
发送后文件操作 String 否 不操作 三种选项:删除、移动、不操作。
移动到文件夹 String 否 不操作 发送后文件操作选择“移动”时,需要设置需要移动到目标文件夹名称。

← 获取文件名 Minio文件输入 →