# Express 版安装
# 介质准备
Primeton_DWS_Express-7.0.0.tar.gz
- 普元软件提供MySQL
- 官方渠道下载JDK 8
- 官方渠道下载
Primeton_DWS_Express-7.0.0.tar.gz
目录结构说明:
|- dws-express
|- sbin # 工具脚本
|- install.sh # 自动化安装脚本
|- init-database.sh # 数据库初始化脚本
|- ...
|- dist # 各个服务安装包
|- Primeton_DWS_7.0.0_Server_Express.tar.gz
|- ...
|- profiles
|- local # 单机版(Express)各个服务缺省配置
|- Dolphin
|- DWS
|- iData
|- ...
|- server # ~ 如果采用默认的安装路径,部分服务将被安装到这里
|- ...
|- service # ~ 如果采用默认的安装路径,部分服务将被安装到这里
|- ...
|- shutdown.sh # ~ 如果采用默认的安装路径,脚本将被复制到这里
|- startup.sh # ~ 如果采用默认的安装路径,脚本将被复制到这里
# 机器准备
由于采用单机安装方式,建议提供一台性能不错内存较大一些的Linux
服务器。如果是Windows PC
则建议使用WSL
或安装虚拟机。
# 安装MySQL
参考官方文档相关资料(可以采用官方的RPM包,RPM仓库等方式),安装要点:(由于采用单机版快速安装方式,请务必遵守规范)
- 服务端口设置为
3306
(缺省),设置不区分大小写
- 安装成功之后创建
3
个schema
(dws70/dolphin70/idata5
) - 把这
3
个schema
授权给同一个用户root
,密码设置为primeton
- 后面还需要使用程序里的脚本分别进行初始化(稍后会介绍)
- 建议采用
yum/apt/zypper
等包管理器进行安装并配置为服务自启动 - 安装完成后启动
mysql
服务
# 安装(准备)JDK
如果本机已经安装了JDK 8
,则可以直接使用,否则请先安装JDK 8
(下载安装包解压到某个目录下即可,JAVA_HOME
配置后面步骤会有补充说明)。
JDK 8
设置给予了灵活配置的能力:
- 配置用户级别(如
~/.bashrc
~/.bash_profile
)或系统级别(如/etc/bashrc
/etc/profile
)JAVA_HOME
环境变量指向JDK 8
( 建议前者 ) - 不配置
JAVA_HOME
环境变量,每次执行DWS
相关脚本前手动设置export JAVA_HOME=/your/java/home
- 不配置
JAVA_HOME
环境变量,使用缺省的安装路径(或软链)$DWS_APP_HOME/public/jdk-8
( 优先级最高 | 推荐 )
# 安装数据开发平台(DWS)
# 规划(选择)安装目录
如果想安装到dws
用户$HOME
目录下,可以先创建用户。参考命令(使用root
用户操作或sudo
方式):
useradd --create-home --user-group --password 'Primeton2023@dws.com' 'dws'
su dws
cd ~
也可以全程使用root
或其他用户完成安装步骤,最后再把程序相关目录owner
权限更改为dws
用户。【可选】配置dws
用户从本机免密登录本机(参考)- sbin/dws-sshkey.sh
。例如选择${HOME}/primeton/dws-express-v7
作为DWS
平台程序的安装目录。
export DWS_APP_HOME=${HOME}/primeton/dws-express-v7
安装目录DWS_APP_HOME
属于可选设置,如果不设置,则安装脚本根据其自身所在位置进行自动选择(缺省值则为解压后的dws-express
目录)。如把安装介质直接解压到dws
用户根目录下即可。注意操作过程中切换用户可能需要重新设置DWS_APP_HOME
(或者配置到用户环境变量中~/.bashrc
以减少麻烦)。
# 解压介质
# 未设置DWS_APP_HOME
但想安装到dws
用户根目录之下
- 切换至
dws
用户之后执行tar -zxvf Primeton_DWS_Express-7.0.0.tar.gz -C ~
- 或者使用
root
等用户执行tar -zxvf Primeton_DWS_Express-7.0.0.tar.gz -C /home/dws
# 未设置DWS_APP_HOME
但想安装到任意目录之下
解压到想要安装的指定目录之下即可。
# 已设置DWS_APP_HOME
则解压路径随意
如果设置了DWS_APP_HOME
,则可以解压到任意临时目录即可,如rm -rf /tmp/dws-express && tar -zxvf Primeton_DWS_Express-7.0.0.tar.gz -C /tmp
# 执行安装
- 如果已经设置了安装目录
DWS_APP_HOME
,请先执行命令echo $DWS_APP_HOME
检查所设置的安装目录。 - 执行命令
echo $JAVA_HOME
以检查JAVA_HOME
设置,确定路径指向的是JDK 8
,如果不是可以更改为环境变量配置或不配置环境变量但要把JDK 8
安装到$DWS_APP_HOME/public/jdk-8
(目录软链也可以),该路径的优先级高于环境变量JAVA_HOME
- 执行安装脚本
dws/express/sbin/install.sh
进行安装,注意安装过程信息输出,如无错误则说明快速安装完成(如出错则可以根据错误信息提示进行处置,然后单独执行某个模块的安装或清空/删除目录DWS_APP_HOME
后重新执行安装) - 安装脚本执行成功之后,如果本次执行的用户不是
dws
则执行(参考命令)chown -R dws:dws $DWS_APP_HOME
以更改程序目录及文件的owner
权限
# 初始化数据库
执行dws-express/sbin/sql-list.sh
可以输出需要初始化的SQL
文件列表,按照各个脚本其所属库(schema
)分别进行初始化。(使用mysql命令行或其他三方客户端工具,如果mysql
命令行工具在PATH
中可用,那么可以执行dws-express/sbin/init-database.sh
脚本进行数据库自动初始化)
# Dolphin (dolphin70) - service/dolphin-bin/tools/sql/sql/
dolphinscheduler_mysql.sql
# iData (idata5) - server/idata/db-scripts/
mysql.sql
# DWS (dws70) - server/dws/db-scripts/
01-eos/Mysql/all.sql
02-afc/Mysql/all.sql
03-dws/Mysql/all.sql
04-dm/mysql/all.sql
# 启动/停止服务参考
# 启动服务
$DWS_APP_HOME/startup.sh
# 停止服务
$DWS_APP_HOME/shutdown.sh
# 主要服务
服务 | 端口 | 账号 | 其他 |
---|---|---|---|
DWS(AFCenter/DM) | 11110 | admin / 000000 | http://localhost:11110 |
Dolphin api | 12345 | admin / dolphinscheduler123 | http://localhost:12345/dolphinscheduler |
Dolphin master | 5678 | - | - |
Dolphin worker | 1234 | - | - |
Dolphin alter | 50052 | - | - |
zooKeeper | 2181 | - | - |
# 附件
# 安装参考-1
# use root or sudo
useradd --create-home --user-group --password 'Primeton2023@dws.com' 'dws'
su dws
cd ~
# unarchive express
tar -zxf /tmp/Primeton_DWS_Express-7.0.0.tar.gz -C ~
# jdk
cp /tmp/jdk-8-linux-x86_64.tar.gz ~/dws-express/dist/jdk-8-linux-x86_64.tar.gz
~/dws-express/sbin/jdk.sh
# install
~/dws-express/sbin/install.sh
# see SQL files location
~/dws-express/sbin/sql-list.sh
# if `mysql` command avaliable
# ~/dws-express/sbin/init-database.sh
# run/off references
su dws
"$DWS_APP_HOME"/bin/startup.sh
"$DWS_APP_HOME"/bin/shutdown.sh
# 安装参考-2
# use none `dws` user
# unarchive express
tar -zxf /tmp/Primeton_DWS_Express-7.0.0.tar.gz -C /tmp/
export DWS_APP_HOME=/opt/primeton-dws
# jdk
cp /tmp/jdk-8-linux-x86_64.tar.gz /tmp/dws-express/dist/jdk-8-linux-x86_64.tar.gz
/tmp/dws-express/sbin/jdk.sh
# install
/tmp/dws-express/sbin/install.sh
# see SQL files location
/tmp/dws-express/sbin/sql-list.sh
# if `mysql` command avaliable
# /tmp/dws-express/sbin/init-database.sh
# switch folder owner, use root or sudo
useradd --create-home --user-group --password 'Primeton2023@dws.com' 'dws'
chown -R dws:dws "$DWS_APP_HOME"
# run/off references
su dws
"$DWS_APP_HOME"/bin/startup.sh
"$DWS_APP_HOME"/bin/shutdown.sh
# Screenshots
# 数据建模
默认admin
账号未授予访问数据建模
系统权限,需要进入组织权限中心
中手动配置一下,或额外添加其他用户进行授权。
账号管理
=> admin(或其他用户)
=> 角色
=> 添加角色 dm-admin(建模管理员)
=> 确定
保存。
其他用户授权可以参考这个操作步骤。