普元数据开发平台
产品介绍
安装部署
FAQ

# 数据准备

# 1. 创建存算引擎

  1. 点击上方菜单栏“公共资源”，进入公共资源管理界面，点击菜单栏的"存算引擎管理"，进入存算引擎管理界面。在【存算引擎管理】页面，点击"新建存算引擎"按钮。

  2. 以创建MySQL类型引擎为例，点击关系型数据库分类下的MySQL图标，点击下一步，如下图。

  3. 输入必填项：引擎名称、环境选择、引擎地址及引擎地址，点击开始测试按钮，测试成功后点击确定按钮保存引擎数据。

  4. 重复上述步骤，创建环境为生产环境的存算引擎。

  5. 重复上述步骤，创建kafka的存算引擎。

# 2. 创建数据源

  1. 点击上方菜单栏“公共资源”，进入公共资源管理界面，点击菜单栏的"数据源管理"，进入数据源管理界面。在【数据源管理】页面，点击"新建数据源"按钮。

  2. 输入数据源编码、数据源名称，选择数据源层次，输入其他非必填项（可选），点击"保存并配置环境"。

  3. 配置【开发环境】数据源信息，测试连接成功后，点击保存数据源。

    image-20231113150054204

    image-20231113150102633

  4. 点击操作中的环境信息的“增加环境，继续添加【生产环境】信息。

    image-20231113150217772

  5. 点击对应环境信息，可查看数据源配置信息

    image-20231113150250699

  6. 重复上述步骤，创建数据层为DWD层的数据源及kafka数据源。如下图

    image-20231113150622036

  7. 数据源信息配置完成。

    image-20231113151017023

# 3. 创建调度引擎

⚠️ 前提准备：需要部署两套dolphinscheduler环境，分别设置为开发环境和生产环境，两个调度引擎环境完全独立。可使用同一个zookeeper，但需要修改为不同的namespace。

  1. 点击【调度引擎管理】菜单，点击新建调度引擎。

  2. 输入引擎名称、引擎编码、选择环境：开发环境，点击下一步。

  3. 修改zookeeper注册地址，使用引擎所在的zookeeper地址。

  4. 重复上述步骤，创建生产环境的调度引擎。

# 4. 创建数据模型

在【MySQL-Source-Demo】所在的开发环境及生产环境数据库中执行以下脚本，创建表及插入数据，作为模型数据。

drop table if EXISTS orderinfo;

create table orderinfo
(
  ordercode    VARCHAR(32) not null comment '订单号',
  amount       int(11) comment '数量',
  price        VARCHAR(32) comment '价格',
  manufacturer VARCHAR(32) comment '厂商',
  createtime   DATE comment '创建时间',
  createuser   VARCHAR(32) comment '创建人',
  updatetime   DATE comment '更新时间'
) ENGINE=INNODB DEFAULT CHARSET=utf8;

alter table orderinfo add constraint ORDER_PRIMARYKEY primary key (ORDERCODE);

insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime) 
values ('001', 1000, '5000', 'xingyun', '2018-12-13', 'zhangcong', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('002', 500, '1000', '西安金属', '2018-12-13', '王强', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('003', 1500, '7000', '枫禾林木', '2018-12-13', '魏雨', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('004', 20000, '75000', '星峰', '2018-12-13', '王林', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('005', 1300, '8000', '天威科技', '2018-12-13', '王林', '2019-12-01');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('006', 2000, '5000', '微云科', '2018-12-13', '王林', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('007', 3000, '9000', '西安金属', '2018-12-13', '王强', '2022-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('008', 2300, '11589', '星峰', '2018-12-13', '王强', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('009', 5100, '12909', '星云制造', '2018-12-13', '魏雨', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('010', 1800, '5900', '天威科技', '2018-12-13', '魏雨', '2018-12-13');
insert into orderinfo (ordercode, amount, price, manufacturer, createtime, createuser, updatetime)
values ('011', 1800, '5500', '微云科技zz', '2023-01-01', '魏雨', '2023-01-04');
commit;

在【MySQL-Front-Demo】所在的开发环境及生产环境数据库中执行以下脚本创建表，作为模型数据。

drop table if EXISTS orderinfo;

create table orderinfo
(
  ordercode    VARCHAR(32) not null comment '订单号',
  amount       int(11) comment '数量',
  price        VARCHAR(32) comment '价格',
  manufacturer VARCHAR(32) comment '厂商',
  createtime   DATE comment '创建时间',
  createuser   VARCHAR(32) comment '创建人',
  updatetime   DATE comment '更新时间'
) ENGINE=INNODB DEFAULT CHARSET=utf8;

# 5. 创建用户

  1. 点击上方菜单栏“组织中心”，再点击【组织管理】-【机构管理】菜单，在公司下点击【新建下级机构】

  2. 输入必填项后点击确定按钮，保存机构信息

  3. 在新建的机构下， 点击【新建员工】，输入必填项后保存，员工及对应账号创建成功。

← 数据开发 →