# LocalFile Sink组件使用说明
# 组件说明
LocalFile Sink连接器。用于写入本地文件。
# 配置项说明
配置名称 | 数据类型 | 是否必填 | 默认值 | 描述 |
---|---|---|---|---|
节点名称 | String | 是 | - | 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
节点编码 | String | 是 | - | 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
输出路径 | String | 是 | - | 目标文件路径。 |
自定义文件名 | Boolean | 否 | 否 | 若选择"是"时,需要配置"文件表达式"和"文件名时间格式"。 |
文件类型 | String | 否 | - | 支持:text、csv、parquet、orc、json、excel 六种文件类型。 |
压缩算法 | String | 否 | - | 支持文件的压缩算法:txt: lzo、none;json: lzo、none;csv: lzo、none;orc: lzo、snappy、lz4、zlib、none;parquet: lzo、snappy、lz4、gzip、brotli、zstd、none;excel 不支持任何压缩算法。 |
添加头部行 | Boolean | 否 | - | 当"是否分区"为 "是" 时使用。如果设置为"是",则分区字段及其值将写入数据文件。 |
字段分隔符 | String | 否 | - | 数据行中列之间的分隔符。仅文本文件格式需要。 |
行分隔符 | String | 否 | - | 文件中行之间的分隔符。仅文本文件格式需要。 |
写入字段 | List | 否 | - | 哪些列需要写入文件,默认值是从"转换"或"数据源"获取的所有列。字段的顺序决定了文件实际写入的顺序。 |
是否分区 | Boolean | 否 | 否 | 是否需要处理分区。默认为"否"。 |
分区字段 | String | 否 | - | 当"是否分区"为 "是" 时使用。根据所选字段对数据进行分区。 |
分区目录表达式 | Boolean | 否 | false | 当"是否分区"为 "是" 时使用。如果指定了"分区字段",将根据分区信息生成相应的分区目录,最终文件将放置在分区目录中。默认"分区目录表达式"为${k0}=${v0}/${k1}=${v1}//${kn}=${vn}/。k0是第一个分区字段,v0是第一分区字段的值。 |
分区字段及其值是否写入文件 | Boolean | 否 | 否 | 当"是否分区"为 "是" 时使用。如果"分区字段及其值是否写入文件"为"是",则分区字段及其值将写入数据文件。例如,如果要编写配置单元数据文件,其值应为"否"。 |
批次大小 | Int | 否 | 1000000 | 文件中的最大行数。对于 SeaTunnel Engine,文件中的行数由batch_size和checkpoint.interval共同决定。如果checkpoint.interval的值足够大,则接收器写入程序将在文件中写入行,直到文件中的行大于batch_size。如果checkpoint.interval很小,则当触发新的检查点时,接收器写入程序将创建一个新文件。 |
可选参数 | 否 | - | 其他参数,用户可以根据需求进行配置。 |