# 通用组件
本章节详细说明通用组件的功能及属性,具体如下:
# 开始
功能介绍:该组件用于设置编排任务执行的入口。只有无条件的任务可以从开始入口连接。
使用场景:Start定义作业执行的起始点。每一项工作必须有一个(且只有一个)开始。无条件作业跳转只能从Start作业条目中获得。
Data Integration Server为调度作业和转换的执行提供了一个更健壮的选项,是使用Start步骤调度的首选替代方案。
图标:
组件界面:
参数说明:
参数 | 说明 |
---|---|
节点名称 | 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
备注 | 其它描述信息。 |
# 转换
功能介绍:该组件用于在编排中引用预先定义的转换。
使用场景:该条目是从作业到ETL活动(转换)的访问点。
常见作业的示例包括获取FTP文件、检查必要的目标数据库表的存在性、运行填充该表的转换,以及在转换失败时发送错误日志。对于本例,Transformation条目定义了要运行哪个转换来填充表。
图标:
组件界面:
参数说明:
参数 | 说明 |
---|---|
节点名称 | 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
选择转换作业 | 选择引用指定的转换作业。 |
执行每个输入行 | 对每个输入行运行一次转换(循环)。 |
执行前清除结果行 | 确保在转换开始之前清除结果行。 |
执行前清除结果文件 | 确保在转换开始之前清除结果文件。 |
传递编排所有参数 | 将作业的所有参数传递给子转换。 |
将结果复制到命名参数 | 将先前转换的结果复制为转换的参数。 |
命名参数 | 命名参数:指定将传递给转换的参数名称; 流字段:允许您捕获结果集传入记录的字段作为参数; 值:允许您指定转换参数的值。 - 手动输入一个值(例如:ETL Job) - 使用参数设置值(例如:${Internal.Job.Name}) - 使用手动指定值和参数值的组合(例如:${FILE_PREFIX}_${FILE_DATE}.txt) |
# 编排
功能介绍:该组件用于在编排中引用预先定义的编排。
使用场景:Job作业条目执行先前定义的作业,这允许您执行功能分解:将作业分解为更易于管理的单元。
例如,与其使用一个包含500个条目的作业来编写数据仓库负载,不如创建更小的作业并聚合它们。
注意:虽然可以创建一个指向自身的递归的、永不结束的作业,但您应该注意,这样的作业最终会因内存不足或堆栈错误而失败。
图标:
组件界面:
参数说明:
参数 | 说明 |
---|---|
节点名称 | 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
选择编排作业 | 选择引用指定的编排作业。 |
执行每个输入行 | 对每个输入行运行一次作业(循环)。 |
执行前清除结果行 | 确保在作业开始之前清除结果行。 |
执行前清除结果文件 | 确保在作业开始之前清除结果文件。 |
传递编排所有参数 | 将作业的所有参数传递给子转换。 |
将结果复制到命名参数 | 将先前转换的结果复制为作业的参数。 如果为每个输入行选择Execute,则每一行都是一组要传递给作业的命令行参数;否则,只使用第一行来生成命令行参数。 |
命名参数 | 命名参数:指定将传递给作业的参数名称; 流字段:允许您捕获结果集传入记录的字段作为参数; 值:允许您指定作业参数的值。 - 手动输入一个值(例如:ETL Job) - 使用参数设置值(例如:${Internal.Job.Name}) - 使用手动指定值和参数值的组合(例如:${FILE_PREFIX}_${FILE_DATE}.txt) |
# 成功
功能介绍:该组件用于清除编排中遇到的任何错误状态,并将其强制设置为成功状态。
使用场景:代表编排执行成功,在日志中打印成功信息。
图标:
组件界面:
参数说明:
参数 | 说明 |
---|---|
节点名称 | 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
备注 | 其它描述信息。 |
# 写日志
功能介绍:在日志窗口打印指定日志信息。
使用场景:一般将 kettle 转换开发完成,都是通过定时任务来调度作业运行。从而实现自动化同步数据,但是在数据运行过程中总有偶尔突发情况,如因网络、字段长度不够导致数据异常等。此时最好追溯问题的办法就是查看日志。
写日志主要是在调试的时候使用,把日志信息打印到日志窗口。
图标:
组件界面:
参数说明:
参数 | 说明 |
---|---|
节点名称 | 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
日志级别 | 要使用的日志级别。 包括没有日志、错误日志、最小日志、基本日志、详细日志、调试、行级日志等从上到下越来越详细。 |
日志主题 | 要在日志记录行中使用的主题。 |
日志消息 | 要写入日志的日志消息。 |
# 设置变量
功能介绍:该组件用于设置环境变量,范围可以是:JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量。
使用场景:该组件能够将传递进来的字段数据转变成模型变量,进行对变量的调用操作。
图标:
组件界面:
参数说明:
参数 | 说明 |
---|---|
节点名称 | 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。 |
属性文件名 | kettle.property文件中设置,可kettle中可以引用。 |
有效范围 | 可选项有: - 在虚拟机中有效:整个虚拟机将知道这个变量; - 在父作业中有效:变量只在父作业中有效; - 在祖父级父级作业中有效:该变量在祖父级父级作业以及所有子作业和转换中有效; - 在根作业中有效:该变量在根作业以及所有子作业和转换中有效。 |
是否变量替换 | 是否使用变量替换参数值。 |
变量列表 | 变量名:要设置的变量名(不带${…)}或%%…% %了相应的符号); 变量有效范围:定义变量的作用域; 值:要设置的变量的默认名称。 |