普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
FAQ
  • 数据开发平台部署方案
  • 部署方案概览
  • 独立版单机(Standalone)部署方案
  • 组件清单
  • 独立版本高可用 部署方案
  • 组件清单
  • 分布式高可用 部署方案
  • 组件清单

# 数据开发平台部署方案

# 部署方案概览

普元数据开发平台是分布式环境下的数据应用开发平台,在数字化的时代,面临着各种复杂的应用场景,既要支持面向简单场景的敏捷应用,也要支持多数据形态下海量数据处理的业务场景。针对以上场景普元数据开发平台提供了独立版和微服务版两种部署方案以供参考。

# 独立版单机(Standalone)部署方案

独立版应用部署方案适用于

  1. 满足小体量(千万级数据量)下快速、便捷的数据开发场景
  2. POC演示,功能体验

# 组件清单

名称 类型 说明 备注
DWS-Standalone-Server EOS微服务应用 集成AFC的数据开发平台管理门户 基于EOS 8的springboot的fatjar包
neo4j 图数据库 为数据血缘提供底层存储计算能力 Neo4j 4.4.42
seatunnel 数据处理引擎 提供高性能的数据同步、集成能力 seatunnel 7.1.0
primeton-di 数据处理引擎 提供丰富的数据转换、集成能力 primeton-di-server 7.1.0
dolphinscheduler 任务调度引擎 提供分布式的任务调度能力 dolphinscheduler 7.1.0

独立版

服务器最低配置

应用规模 CPU 内存 磁盘 网络
仅保证可稳定运行少量任务,可供演示使用 8C+ 32G+ 500G+ 千兆网络

服务器推荐配置

应用规模 CPU 内存 磁盘 网络
支持10+单作业并发处理,日处理数据量累积可达亿级【视数据源类型而定】 16C+ 64G+ 500G+ 千兆以上(万兆)网络

# 独立版本高可用 部署方案

基于独立版本部署高可用环境,借助管理门户Nginx实现负载均衡或者主备高可用,调度引擎以及数据处理引擎通过横向扩容,部署2+节点保证高可用。

# 组件清单

名称 类型 说明 备注
DWS-Standalone-Server EOS微服务应用 集成AFC的数据开发平台管理门户 基于 EOS 8 的 springboot 的 fatjar 包
redis 分布式缓存 提供给EOS 8的服务与应用的缓存 建议用最新稳定版
nginx 网络代理服务 给EOS8应用的UI静态资源访问和服务代理 建议最新稳定版
neo4j 图数据库 为数据血缘提供底层存储计算能力 Neo4j 4.4.42
seatunnel 数据处理引擎 提供高性能的数据同步、集成能力 seatunnel 7.1.0
primeton-di 数据处理引擎 提供丰富的数据转换、集成能力 primeton-di-server 7.1.0
dolphinscheduler 任务调度引擎 提供分布式的任务调度能力 dolphinscheduler 7.1.0

独立版本高可用

服务器推荐配置

应用规模 CPU 内存 磁盘 网络 节点个数
支持10+单作业并发处理,日处理数据量累积可达亿级【视数据源类型而定】 16C+ 64G+ 500G+ 千兆以上(万兆)网络 2+

# 分布式高可用 部署方案

数据开发平台提供支持微服务架构的管理门户、去中心化的调度引擎、数据处理引擎,具备分布式部署能力,提供高可用、高性能的一体化数据开发与运营能力。

# 组件清单

名称 类型 说明 备注
DWS-Micro-Server EOS微服务应用 基于EOS 8的数据开发平台管理门户 基于 EOS 8 的 springboot 的 fatjar 包
AFCenter EOS微服务应用 EOS 8提供的开源组织机构与多应用集成管理平台 基于 EOS 8 的 springboot 的 fatjar 包
Gateway springboot应用 EOS 8提供的应用平台网关 spring cloud 的 gateway 2.1.5
nacos springboot应用 EOS 8提供的应用平台注册中心 阿里云的 nacos 1.3.2
redis 分布式缓存 提供给EOS 8的服务与应用的缓存 建议用最新稳定版
nginx 网络代理服务 给EOS8应用的UI静态资源访问和服务代理 建议最新稳定版
neo4j 图数据库 为数据血缘提供底层存储计算能力 Neo4j 4.4.42
seatunnel 数据处理引擎 提供高性能的数据同步、集成能力 seatunnel 7.1.0
primeton-di 数据处理引擎 提供丰富的数据转换、集成能力 primeton-di-server 7.1.0
dolphinscheduler 任务调度引擎 提供分布式的任务调度能力 dolphinscheduler 7.1.0

分布式高可用版

服务器推荐配置

  • 开发门户配置
组件名称 CPU 内存 磁盘 网络 节点个数
AFCenter + DWS-Micro-Server + Nginx + Nacos + Redis 4C+ 8G+ 500G+ 千兆网络+ 1+(可以部署多个实现主备或者负载)
Neo4j 4C+ 8G+ 500G+ 千兆网络+ 1+,企业版支持集群部署、开源版本单机部署
  • 调度引擎、数据处理引擎配置
组件名称 CPU 内存 磁盘 网络 节点个数
dolphinscheduler master + dolphinscheduler alert 4C+ 8G+ 500G+ 千兆网络+ 2+(分布式集群,按需扩展)
dolphinscheduler Worker + di-client + seatunnel client 8C+ 16G+ 500G+ 千兆网络+ 2+(分布式集群,按需扩展,提升数据处理能力)
seatunnel Server 8C+ 32G+ 500G+ 千兆网络+ 2+(分布式集群,按需扩展,提升数据处理能力)
di Server 8C+ 32G+ 500G+ 千兆网络+ 2+(分布式集群,按需扩展,提升数据处理能力)

← 介质说明 安装必读 →