IDE 概览

当平台搭建完毕后，后续的数据开发工作都将在 IDE 中完成。

IDE 是数据开发人员进行日常开发工作的工作台，提供图形化、拖拽式的数据开发体验。

支持对数据同步作业、数据加工作业（转换、作业）、通用模板作业、Shell程序、SQL程序、Spark程序、Flink程序、DI程序、MapReduce程序、Python程序、作业流等任务的在线可视化开发。

名词解释

命名参数：针对 Kettle 的转换、编排中使用的参数。这里的参数只是定义作用，声明 key 和 default value。实际使用过程需要通过全局参数进行传参。

本地参数：指 dolphinscheduler 的任务类型中自定义的参数，在存在同名参数下优先级最高；IN 是输入参数，OUT 是输出参数，需要使用${setValue(key=value)}的方式赋值。

全局参数：作业流中定义的全局参数。

操作说明

点击项目列表右侧的【项目开发】按钮，进入 DWS IDE 界面，如果项目有多个数据层，在弹框中选择一个数据层。

DWS IDE 界面如下图所示，分为三个区域：

• 资源树：项目的开发资源（数据同步、数据加工、通用模板、程序、作业流、数据源）以树形方式展示。

• 画布区：可视化开发集成作业/作业流，一个画布就是一个开发资源，可以通时展示多个画布。

  • 通用配置：每个资源可以单独配置通用属性，包括：任务优先级、Worker 分组、命名参数、本地参数、超时告警、备注。
  • 指标日志：开启日志，记录作业运行后读、写、更新、输入、输出的数据量。
  • 版本：显示版本记录。
  • 草稿：显示草稿记录，最多保留最近 10 个草稿。
  • 运行：在线运行任务。
  • 停止：停止任务的运行。
  • 保存：保存修改后的草稿。
  • 提交：修改后的资源提交后生成新的版本号。

• 日志栏：在线调试运行时，可以同步输出执行日志，便于用户查看执行过程。

  • 刷新日志：刷新输出日志，以保持最新日志的输出。
  • 刷新实例：刷新实例的执行状态，有三种状态：执行完毕、执行中、执行错误。
  • 清空：清空当前输出的日志。
  • 换行：可以对日志输出进行换行显示。
  • 下载：当日志太多无法展示全，可以下载日志到本地。