# MySQL 批量加载组件使用说明
# 组件说明
MySQL批量加载组件主要用于将数据从Kettle内部流式传输到MySQL数据库中,这个组件通过创建一个命名管道(FIFO)来实现数据的批量加载,适用于大量数据的快速导入,避免了传统方法在处理大数据量时的内存和时间消耗问题。
# 配置项说明
配置名称 | 数据类型 | 是否必填 | 默认值 | 描述 |
---|---|---|---|---|
节点名称 | String | 是 | - | 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
选择数据源 | String | 是 | - | 当前输入绑定的数据源名称,从下拉选项中列出的指定的关联类型(MySQL)的数据源进行选择。 |
数据库名称 | String | 是 | - | 目标表所在的数据库连接的名称。 |
目标表名称 | String | 是 | - | 目标表的名称。 |
Fifo文件 | String | 是 | /tmp/fifo | 这是用作命名管道的fifo文件。当它不存在时,将使用命令mkfifo和chmod 666创建它(这就是为什么它不能在Windows中工作)。 |
列分隔符 | String | 否 | ; | 字段的分隔符。 |
封闭符 | String | 否 | " | 用于字符串的封闭符。 |
逃逸符 | String | 否 | \ | 如果该框在字段中,则使用转义字符进行转义。 |
字符集 | String | 否 | utf8 | 使用的字符集(可选)。 |
批量提交行数 | String | 否 | 将数据加载分割为数据块,然后重新启动数据加载。 | |
与已有键值重复时替换 | Boolean | 否 | 是 | 如果选中,“REPLACE”将被添加到命令中。如果指定,则输入行替换现有行。换句话说,就是与现有行具有相同主键值或唯一索引值的行。 |
与已有键值重复时忽略 | Boolean | 否 | 否 | 如果选中,“IGNORE”将被添加到命令中。如果指定,则跳过与唯一键值上的现有行重复的输入行。 |
数据文件位置 | Boolean | 否 | 客户机 | 指定从本地读取文件还是从Mysql服务器读取文件。 |
加载字段 | List | 表字段:要在MySQL表中加载的表字段。 流字段:从传入行中获取的字段。 字段格式: 此选项可以决定是否应该保留格式(不更改格式)或更改。 |