# MapReduce 程序
# 说明
MapReduce(MR) 任务类型,用于执行 MapReduce 程序。
对于 MapReduce 节点,worker 会通过使用 Hadoop 命令 hadoop jar 的方式提交任务。
程序类型为 JAVA/SCALA 或者 Python 时,配置项的要求有所区别。
# 配置项说明
# JAVA/SCALA 程序
配置项 | 是否必填 | 默认值 | 描述 |
---|---|---|---|
任务名称 | 否 | - | 选择 JAVA/SCALA 语言。 |
程序类型 | 是 | - | 选择 JAVA/SCALA 语言。 |
主函数的 Class | 否 | - | MapReduce 程序的入口 Main class 的全路径。 |
主程序包 | 是 | - | 执行 MapReduce 程序的 jar 包。 |
主程序参数 | 否 | - | 是 MapReduce 局部的用户自定义参数,会替换脚本中以 ${变量} 的内容。 |
选项参数 | 否 | - | 支持 –D、-files、-libjars、-archives 格式。 |
# Python 程序
配置项 | 是否必填 | 默认值 | 描述 |
---|---|---|---|
程序类型 | 是 | - | 选择 Python 语言。 |
主函数的 Class | 否 | - | 不用填写。 |
主程序包 | 是 | - | 运行 MapReduce 的 Python jar 包。 |
主程序参数 | 否 | - | 是 MapReduce 局部的用户自定义参数,会替换脚本中以 ${变量} 的内容。 |
选项参数 | 否 | - | 支持 –D、-mapper、-reducer、-input -output格式,这里可以设置用户自定义参数的输入。 比如:-mapper “mapper.py 1” -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis},其中 -mapper 后的 mapper.py 1是两个参数,第一个参数是 mapper.py,第二个参数是 1。 |
# FAQ
无