普元数据开发平台
产品介绍
安装部署
SDK开发指南
FAQ

# 更新日志

# 2024/11/21 V7.0.2

# 新增特性

  • IDE 新增数据血缘分析，图形化展示模型的表、字段血缘关系分析，支持分析的模型包括：数据同步、数据加工、通用模板、SQL程序、作业流
  • 新增数据建模功能，包括：
    • 字段数据类型管理：全局共有（初始化内置，只读）、项目私有（增、删、改、查）
    • 在线建模：目录（文件夹）管理、单表建模、保存、版本管理、预览 DDL
    • ER 图浏览：图形化展示模型 ER 图
    • DDL 脚本生成：单个模型生成 DDL、基于模型最新版本/历史版本生成 DDL
    • DDL 执行：单模型执行、多模型执行、查看执行历史、查看执行日志、失败重试
  • 新增公共资源管理相关功能，包括：
    • 系统管理，包括：新增、编辑、删除、查询
    • 存算引擎，包括：SAP、ArgoDB、RabbitMQ、Hyperbase
    • 调度引擎的注册类型支持 jdbc（默认）和 ZooKeeper 两种注册方式
      • jdbc注册方式：注册方式选择“jdbc”时则无需部署 ZooKeeper，系统中的 MasterServer 和 WorkerServer 节点都存储在数据库中
      • ZooKeeper注册方式：是一个高性能分布式协调服务，其主要用于解决单点故障，系统中的 MasterServer 和 WorkerServer 节点都通过 ZooKeeper 来进行集群管理和容错，还进行事件监听和分布式锁。
    • 数据源客户端的查询（SQL编辑器），包括：SQL 执行历史（当前打开的查询SQL、当前数据源）、执行任务（当前数据源正在执行中的所有表查询、视图查询、查询SQL、导出、停止）
  • IDE 新增数据同步组件：RabbitMQ Source、ArgoDB Sink、Hyperbase Sink、JsonPath Transform
  • IDE 新增数据加工组件：
    • 输入组件：Access 输入、ArgoDB 输入、Hyperbase 输入、SAP 输入
    • 输出组件：ArgoDB 输出、Hyperbase 输出、MongoDB 输出
    • 数据仓库组件：维度查询/更新组件、联合查询/更新组件
    • 数据清洗组件：脱敏规则、转换规则、加密规则、解密规则、生成数据规则、自定义清洗规则
    • 编排组件：OSS 下载
  • IDE 新增基于 Seatunnel 的增量同步模板作业：基于时间戳的关系型数据库到关系型数据库、基于时间戳的关系型数据库到Hive、CDC-Oracle
  • IDE 新增 Python 程序
  • 新增运维中心相关功能，包括：审计日志、运维大盘支持开发环境资源统计及监控、作业流关联关系血缘分析及展示
  • 新增 DWS SDK，包括：模板作业的创建、修改、删除；作业/作业流的调度、执行、监控、日志、查询
  • 新增公共资源 SDK，包括：数据层、存算引擎、数据源、元数据获取、主题、数据租户、系统等

# 优化特性

  • EOS 升级到 8.3.2
  • 调度引擎内核升级
  • DI引擎改为常驻进程，大幅提升作业并发性能
  • 数据同步作业Streaming作业类型支持保存点恢复
  • 优化了通用模板选择数据源、表的操作和批量启动/禁用同步的操作，提升了易用性及美观性
  • 优化了IDE资源操作的易用性，包括：取消数据层跨层访问资源的限制、数据层及资源全部展示、可以拖拽节点作业、程序、作业流到画布、优化画布操作（画布内的节点支持复制、支持给画布添加注释、支持画布框选多个组件、支持画布操作的快捷键等）、试运行可以图形化展示执行状态及结果、试运行日志简化并高亮显示日志级别
  • DWS Server集群模式下投产资源包支持数据库共享存储，单节点模式支持本地存储（默认配置）
  • 在线文档增加示例、FAQ

# Bugfixed

# 2024/05/07 V7.0LA2

# 新增特性

  • 产品初始化脚本支持DM、PostgreSQL、openGauss、Oracle
  • 支持Inceptor、openGauss、Oscar、Neo4j、通用 JDBC存算引擎及数据源，通过Generic JDBC存算引擎能快速接入更多关系型数据库
  • SQL客户端支持数据库、表、视图、索引、触发器、存储过程等属性的查看，支持SQL语句执行/停止等；SQL编辑器语法高亮、提示、自动补全（数据库/Schema、表、视图、字段）；支持10种关系型数据库（MySQL、SQL Server、Oracle、PostgreSQL、DB2、达梦、openGauss、GBase、Oscar、人大金仓）、4种大数据库（Hive、Inceptor、StarRocks、ClickHouse）
  • 数据租户管理、数据租户资源配置（调度引擎、数据源、租户管理员、成员、主题）
  • 数据集成组件：Inceptor 输入、Inceptor 输出、StarRocks输入、StarRocks输出、Kafka输出、MongoDB输入、PARQUET输出、Web服务查询
  • 数据同步组件：CDC Source、Hive Source、Inceptor Source、Inceptor Sink、LocalFile Source、LocalFile Sink、Neo4j Source、Neo4j Sink
  • 基于 Seatunnel 的全量同步模板作业：关系型数据库到关系型数据库、关系型数据库到Hive、StarRocks到StarRocks、StarRocks到关系型数据库、关系型数据库到StarRocks、StarRocks到Hive、StarRocks到MongoDB
  • 基于PDI的全量同步通用模板作业：关系型数据库到StarRocks、StarRocks到StarRocks、StarRocks到关系型数据库、StarRocks到Hive
  • 基于PDI的增量量同步通用模板作业：时间戳关系型数据库到StarRocks、时间戳StarRocks到StarRocks、时间戳StarRocks到关系型数据库、时间戳StarRocks到Hive
  • 实时任务数据量查看

# 优化特性

  • 海豚核心引擎升级
  • Seatunnel 核心引擎升级
  • 作业调度、项目配置的菜单优化为可以通过AFCenter进行维护、配置、赋权
  • 通用模板向导页面美化，更加直观
  • 在线文档增加示例、FAQ

# Bugfixed

← 介质说明 →