普元数据开发平台
产品介绍
安装部署
SDK开发指南
FAQ

# 7.0.2 版本说明

# 产品新特性

  • IDE 新增数据血缘分析，图形化展示模型的表、字段血缘关系分析，支持分析的模型包括：数据同步、数据加工、通用模板、SQL程序、作业流
  • 新增数据建模功能，包括：
    • 字段数据类型管理：全局共有（初始化内置，只读）、项目私有（增、删、改、查）
    • 在线建模：目录（文件夹）管理、单表建模、保存、版本管理、预览 DDL
    • ER 图浏览：图形化展示模型 ER 图
    • DDL 脚本生成：单个模型生成 DDL、基于模型最新版本/历史版本生成 DDL
    • DDL 执行：单模型执行、多模型执行、查看执行历史、查看执行日志、失败重试
  • 新增公共资源管理相关功能，包括：
    • 系统管理，包括：新增、编辑、删除、查询
    • 存算引擎，包括：SAP、ArgoDB、RabbitMQ、Hyperbase
    • 调度引擎的注册类型支持 jdbc（默认）和 ZooKeeper 两种注册方式
      • jdbc注册方式：注册方式选择“jdbc”时则无需部署 ZooKeeper，系统中的 MasterServer 和 WorkerServer 节点都存储在数据库中
      • ZooKeeper注册方式：是一个高性能分布式协调服务，其主要用于解决单点故障，系统中的 MasterServer 和 WorkerServer 节点都通过 ZooKeeper 来进行集群管理和容错，还进行事件监听和分布式锁。
    • 数据源客户端的查询（SQL编辑器），包括：SQL 执行历史（当前打开的查询SQL、当前数据源）、执行任务（当前数据源正在执行中的所有表查询、视图查询、查询SQL、导出、停止）
  • IDE 新增数据同步组件：RabbitMQ Source、ArgoDB Sink、Hyperbase Sink
  • IDE 新增数据加工组件：
    • 输入组件：Access 输入、ArgoDB 输入、Hyperbase 输入、SAP 输入
    • 输出组件：ArgoDB 输出、Hyperbase 输出、MongoDB 输出
    • 数据仓库组件：维度查询/更新组件、联合查询/更新组件
    • 数据清洗组件：脱敏规则、转换规则、加密规则、解密规则、生成数据规则、自定义清洗规则
    • 编排组件：OSS 下载
  • IDE 新增基于 Seatunnel 的增量同步模板作业：基于时间戳的关系型数据库到关系型数据库、基于时间戳的关系型数据库到Hive、CDC-Oracle
  • IDE 新增 Python 程序
  • 新增运维中心相关功能，包括：审计日志、运维大盘支持开发环境资源统计及监控、作业流关联关系血缘分析及展示
  • 新增普元元数据产品采集 DWS 作业
  • 新增 DWS SDK，包括：模板作业的创建、修改、删除；作业/作业流的调度、执行、监控、日志、查询
  • 新增公共资源 SDK，包括：数据层、存算引擎、数据源、元数据获取、主题、数据租户、系统等

# 优化特性

  • EOS 升级到 8.3.2
  • 调度引擎内核升级
  • DI引擎改为常驻进程，大幅提升作业并发性能
  • 数据同步作业Streaming作业类型支持保存点恢复
  • 优化了通用模板选择数据源、表的操作和批量启动/禁用同步的操作，提升了易用性及美观性
  • 优化了IDE资源操作的易用性，包括：取消数据层跨层访问资源的限制、数据层及资源全部展示、可以拖拽节点作业、程序、作业流到画布、优化画布操作（画布内的节点支持复制、支持给画布添加注释、支持画布框选多个组件、支持画布操作的快捷键等）、试运行可以图形化展示执行状态及结果、试运行日志简化并高亮显示日志级别
  • DWS Server集群模式下投产资源包支持数据库共享存储，单节点模式支持本地存储（默认配置）
  • 在线文档增加示例、FAQ

# Bugfixed

← 介质说明 →