普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
运维指南
  • Python 程序
  • 说明
  • 配置项说明
  • FAQ

# Python 程序

  • 说明
  • 配置项说明
  • 使用示例
    • 简单打印一行文字
    • 使用自定义参数
  • FAQ

# 说明

Python 程序是 DolphinScheduler 中最通用的轻量任务类型(可运行普通脚本、PySpark/PyFlink 脚本)。

worker 执行该任务的时候,会生成一个临时 python 脚本, 并使用与租户同名的 linux 用户执行这个脚本。

提示:

1、执行Python 程序前,需要配置 DolphinScheduler 执行用户如`dws`对应的环境变量。 编辑 ~/.bashrc 文件并使其生效。
2、环境变量的配置如果是在 DolphinScheduler 启动后修改的,则需要重启 DolphinScheduler。
否则会出现异常,类似: PermissionError:[Errno 13]Permission denied:'/usr/local/lib/python3.6/site-packages/corpwechatbot/token.json'
su dws

vi ~/.bashrc

#/usr/bin/python 为python命令的路径
export PYTHON_LAUNCHER=/usr/bin/python 

source ~/.bashrc

# 配置项说明

1. 基础环境配置(必选)

配置项 默认值 描述
资源选择 - 脚本依赖的额外文件(如配置文件、数据文件,多个用逗号分隔) 。
脚本 - 在线编辑模式下必填,直接编写 Python 代码(适合短脚本,不建议复杂逻辑)。

2. 运行控制配置(可选)

这类配置决定 Python 程序在 DolphinScheduler 内的运行规则,属于调度层面的配置。在「通用配置」中进行配置。

配置项 默认值 描述
任务优先级 MEDIUM worker 线程数不足时,根据优先级从高到低依次执行,优先级一样时根据先进先出原则执行。
Worker 分组 default 任务分配给 worker 组的机器执行,选择 Default,会随机选择一台 worker 机器执行。
任务组 - 用于控制任务实例并发,选择项目中已经定义好的任务组。
任务组优先级 0 任务在任务组内运行的优先级,数字越大优先级越高。
环境名称 - 运行程序时指定的虚拟环境。
本地参数 - 是程序局部的用户自定义参数,会替换程序中以 ${变量} 的内容。
失败重试次数 0 任务失败后的重试次数,单位:次。
失败重试间隔 1 多次重试之间的等待时间,单位:分钟。
超时告警 关闭 勾选超时告警、超时失败,当任务超过”超时时长”后,会发送告警邮件并且任务执行失败。

# FAQ

无

← MapReduce程序 作业流开发 →