数据开发平台部署方案

部署方案概览

普元数据开发平台是分布式环境下的数据应用开发平台，在数字化的时代，面临着各种复杂的应用场景，既要支持面向简单场景的敏捷应用，也要支持多数据形态下海量数据处理的业务场景。针对以上场景普元数据开发平台提供了独立版和微服务版两种部署方案以供参考。

独立版（Standalone）部署方案

独立版应用部署方案适用于

1. 满足小体量（千万级数据量）下快速、便捷的数据开发场景
2. POC演示，功能体验

名称	类型	说明	备注
DWS-Standalone-Server	EOS微服务应用	集成AFC的数据开发平台管理门户	基于EOS 8的springboot的fatjar包
seatunnel	数据处理引擎	提供高性能的数据同步、集成能力	seatunnel 7.0.2
di-server	数据处理引擎	提供丰富的数据转换、集成能力	primeton-di-server 7.0.2
dolphinscheduler	任务调度引擎	提供分布式的任务调度能力	dolphinscheudler 7.0.2

服务器最低配置

应用规模	CPU	内存	磁盘	网络
仅保证可稳定运行少量任务，可供演示使用	4C+	16G+	500G+	千兆网络

服务器推荐配置

应用规模	CPU	内存	磁盘	网络
支持10+单作业并发处理，日处理数据量累积可达亿级【视数据源类型而定】	16C+	64G+	500G+	千兆以上（万兆）网络

微服务版（MicroApp）部署方案

微服务部署方案主要面向于在完整的数据中台构建场景下，提供可集成的高可用、分布式的数据开发能力，应对海量数据处理场景以及丰富的业务集成能力下的一体化开发体验。

名称	类型	说明	备注
DWS-Micro-Server	EOS微服务应用	基于EOS 8的数据开发平台管理门户	基于 EOS 8 的 springboot 的 fatjar 包
AFCenter	EOS微服务应用	EOS 8提供的开源组织机构与多应用集成管理平台	基于 EOS 8 的 springboot 的 fatjar 包
Gateway	springboot应用	EOS 8提供的应用平台网关	spring cloud 的 gateway 2.1.5
nacos	springboot应用	EOS 8提供的应用平台注册中心	阿里云的 nacos 1.3.2
zookeeper（可选）	分布式服务协调	提供给EOS 8的分布式协调服务	zookeeper 3.8.0
redis	分布式缓存	提供给EOS 8的服务与应用的缓存	建议用最新稳定版
nginx	网络代理服务	给EOS8应用的UI静态资源访问和服务代理	建议最新稳定版
seatunnel	数据处理引擎	提供高性能的数据同步、集成能力	seatunnel 7.0.2
di-server	数据处理引擎	提供丰富的数据转换、集成能力	primeton-di-server 7.0.2
dolphinscheduler	任务调度引擎	提供分布式的任务调度能力	dolphinscheudler 7.0.2

服务器推荐配置

• 管理端配置

组件名称	CPU	内存	磁盘	网络	节点个数
AFCenter + DWS-Micro-Server + Nginx + Nacos + Redis	4C+	8G+	500G+	千兆网络+	1+（可以部署多个实现主备或者负载）

• 管理端配置

组件名称	CPU	内存	磁盘	网络	节点个数
Zookeeper（可选） + DolphinScheduler master	8C+	8G+	500G+	千兆网络+	3+（分布式集群，按需扩展）
DolphinScheduler Worker + di-server + Seatunnel client	8C+	16G+	500G+	千兆网络+	N+（分布式集群，按需扩展，提升数据处理能力）
Seatunnel Server	8C+	16G+	500G+	千兆网络+	N+（分布式集群，按需扩展，提升数据处理能力）