# 数据开发平台部署方案
# 部署方案概览
普元数据开发平台是分布式环境下的数据应用开发平台，在数字化的时代，面临着各种复杂的应用场景，既要支持面向简单场景的敏捷应用，也要支持多数据形态下海量数据处理的业务场景。针对以上场景普元数据开发平台提供了独立版和微服务版两种部署方案以供参考。
# 独立版单机（Standalone）部署方案
独立版应用部署方案适用于
- 满足小体量（千万级数据量）下快速、便捷的数据开发场景
- POC演示，功能体验
# 组件清单
| 名称 | 类型 | 说明 | 备注 |
|---|---|---|---|
| DWS-Standalone-Server | EOS微服务应用 | 集成AFC的数据开发平台管理门户 | 基于EOS 8的springboot的fatjar包 |
| neo4j | 图数据库 | 为数据血缘提供底层存储计算能力 | Neo4j 4.4.42 |
| seatunnel | 数据处理引擎 | 提供高性能的数据同步、集成能力 | seatunnel 7.1.0 |
| primeton-di | 数据处理引擎 | 提供丰富的数据转换、集成能力 | primeton-di-server 7.1.0 |
| dolphinscheduler | 任务调度引擎 | 提供分布式的任务调度能力 | dolphinscheduler 7.1.0 |
服务器最低配置
| 应用规模 | CPU | 内存 | 磁盘 | 网络 |
|---|---|---|---|---|
| 仅保证可稳定运行少量任务，可供演示使用 | 8C+ | 32G+ | 500G+ | 千兆网络 |
服务器推荐配置
| 应用规模 | CPU | 内存 | 磁盘 | 网络 |
|---|---|---|---|---|
| 支持10+单作业并发处理，日处理数据量累积可达亿级【视数据源类型而定】 | 16C+ | 64G+ | 500G+ | 千兆以上（万兆）网络 |
# 独立版本高可用 部署方案
基于独立版本部署高可用环境，借助管理门户Nginx实现负载均衡或者主备高可用，调度引擎以及数据处理引擎通过横向扩容,部署2+节点保证高可用。
# 组件清单
| 名称 | 类型 | 说明 | 备注 |
|---|---|---|---|
| DWS-Standalone-Server | EOS微服务应用 | 集成AFC的数据开发平台管理门户 | 基于 EOS 8 的 springboot 的 fatjar 包 |
| redis | 分布式缓存 | 提供给EOS 8的服务与应用的缓存 | 建议用最新稳定版 |
| nginx | 网络代理服务 | 给EOS8应用的UI静态资源访问和服务代理 | 建议最新稳定版 |
| neo4j | 图数据库 | 为数据血缘提供底层存储计算能力 | Neo4j 4.4.42 |
| seatunnel | 数据处理引擎 | 提供高性能的数据同步、集成能力 | seatunnel 7.1.0 |
| primeton-di | 数据处理引擎 | 提供丰富的数据转换、集成能力 | primeton-di-server 7.1.0 |
| dolphinscheduler | 任务调度引擎 | 提供分布式的任务调度能力 | dolphinscheduler 7.1.0 |
服务器推荐配置
| 应用规模 | CPU | 内存 | 磁盘 | 网络 | 节点个数 |
|---|---|---|---|---|---|
| 支持10+单作业并发处理，日处理数据量累积可达亿级【视数据源类型而定】 | 16C+ | 64G+ | 500G+ | 千兆以上（万兆）网络 | 2+ |
# 分布式高可用 部署方案
数据开发平台提供支持微服务架构的管理门户、去中心化的调度引擎、数据处理引擎，具备分布式部署能力，提供高可用、高性能的一体化数据开发与运营能力。
# 组件清单
| 名称 | 类型 | 说明 | 备注 |
|---|---|---|---|
| DWS-Micro-Server | EOS微服务应用 | 基于EOS 8的数据开发平台管理门户 | 基于 EOS 8 的 springboot 的 fatjar 包 |
| AFCenter | EOS微服务应用 | EOS 8提供的开源组织机构与多应用集成管理平台 | 基于 EOS 8 的 springboot 的 fatjar 包 |
| Gateway | springboot应用 | EOS 8提供的应用平台网关 | spring cloud 的 gateway 2.1.5 |
| nacos | springboot应用 | EOS 8提供的应用平台注册中心 | 阿里云的 nacos 1.3.2 |
| redis | 分布式缓存 | 提供给EOS 8的服务与应用的缓存 | 建议用最新稳定版 |
| nginx | 网络代理服务 | 给EOS8应用的UI静态资源访问和服务代理 | 建议最新稳定版 |
| neo4j | 图数据库 | 为数据血缘提供底层存储计算能力 | Neo4j 4.4.42 |
| seatunnel | 数据处理引擎 | 提供高性能的数据同步、集成能力 | seatunnel 7.1.0 |
| primeton-di | 数据处理引擎 | 提供丰富的数据转换、集成能力 | primeton-di-server 7.1.0 |
| dolphinscheduler | 任务调度引擎 | 提供分布式的任务调度能力 | dolphinscheduler 7.1.0 |
服务器推荐配置
- 开发门户配置
| 组件名称 | CPU | 内存 | 磁盘 | 网络 | 节点个数 |
|---|---|---|---|---|---|
| AFCenter + DWS-Micro-Server + Nginx + Nacos + Redis | 4C+ | 8G+ | 500G+ | 千兆网络+ | 1+（可以部署多个实现主备或者负载） |
| Neo4j | 4C+ | 8G+ | 500G+ | 千兆网络+ | 1+,企业版支持集群部署、开源版本单机部署 |
- 调度引擎、数据处理引擎配置
| 组件名称 | CPU | 内存 | 磁盘 | 网络 | 节点个数 |
|---|---|---|---|---|---|
| dolphinscheduler master + dolphinscheduler alert | 4C+ | 8G+ | 500G+ | 千兆网络+ | 2+（分布式集群，按需扩展） |
| dolphinscheduler Worker + di-client + seatunnel client | 8C+ | 16G+ | 500G+ | 千兆网络+ | 2+（分布式集群，按需扩展，提升数据处理能力） |
| seatunnel Server | 8C+ | 32G+ | 500G+ | 千兆网络+ | 2+（分布式集群，按需扩展，提升数据处理能力） |
| di Server | 8C+ | 32G+ | 500G+ | 千兆网络+ | 2+（分布式集群，按需扩展，提升数据处理能力） |