普元数据集成平台
产品介绍
安装部署
FAQ

# 7.0.2 版本说明

# 产品新特性

  • IDE 新增数据血缘分析，图形化展示模型的表、字段血缘关系分析，支持分析的模型包括：数据同步、数据加工、通用模板、SQL程序、作业流
  • 新增数据建模功能，包括：
    • 字段数据类型管理：全局共有（初始化内置，只读）、项目私有（增、删、改、查）
    • 在线建模：目录（文件夹）管理、单表建模、保存、版本管理、预览 DDL
    • ER 图浏览：图形化展示模型 ER 图
    • DDL 脚本生成：单个模型生成 DDL、基于模型最新版本/历史版本生成 DDL
    • DDL 执行：单模型执行、多模型执行、查看执行历史、查看执行日志、失败重试
  • 新增公共资源管理相关功能，包括：
    • 系统管理，包括：新增、编辑、删除、查询
    • 存算引擎，包括：SAP、ArgoDB、RabbitMQ、Hyperbase
    • 调度引擎的注册类型支持 jdbc（默认）和 ZooKeeper 两种注册方式
      • jdbc注册方式：注册方式选择“jdbc”时则无需部署 ZooKeeper，系统中的 MasterServer 和 WorkerServer 节点都存储在数据库中
      • ZooKeeper注册方式：是一个高性能分布式协调服务，其主要用于解决单点故障，系统中的 MasterServer 和 WorkerServer 节点都通过 ZooKeeper 来进行集群管理和容错，还进行事件监听和分布式锁。
    • 数据源客户端的查询（SQL编辑器），包括：SQL 执行历史（当前打开的查询SQL、当前数据源）、执行任务（当前数据源正在执行中的所有表查询、视图查询、查询SQL、导出、停止）
  • IDE 新增数据同步组件：RabbitMQ Source、ArgoDB Sink、Hyperbase Sink
  • IDE 新增数据加工组件：
    • 输入组件：Access 输入、ArgoDB 输入、Hyperbase 输入、SAP 输入
    • 输出组件：ArgoDB 输出、Hyperbase 输出、MongoDB 输出
    • 数据仓库组件：维度查询/更新组件、联合查询/更新组件
    • 数据清洗组件：脱敏规则、转换规则、加密规则、解密规则、生成数据规则、自定义清洗规则
    • 编排组件：OSS 下载
  • IDE 新增基于 Seatunnel 的增量同步模板作业：基于时间戳的关系型数据库到关系型数据库、基于时间戳的关系型数据库到Hive、CDC-Oracle
  • IDE 新增 Python 程序
  • 新增运维中心相关功能，包括：审计日志、运维大盘支持开发环境资源统计及监控、作业流关联关系血缘分析及展示
  • 新增普元元数据产品采集 DWS 作业
  • 新增 DWS SDK，包括：模板作业的创建、修改、删除；作业/作业流的调度、执行、监控、日志、查询
  • 新增公共资源 SDK，包括：数据层、存算引擎、数据源、元数据获取、主题、数据租户、系统等

# 优化特性

  • 调度引擎核心功能升级
  • 数据同步作业 Streaming 作业类型支持保存点恢复
  • 优化在线 IDE 易用性，包括：
    • 取消数据层跨层访问限制
    • 可以将节点作业拖拽至画布
    • 试运行结果增加了状态图标
    • 高亮显示日志级别
    • 画布操作支持快捷键，包括：运行 - F8、删除 - Del、保存 - Cmd/Ctrl+S、复制 - Cmd/Ctrl+C、粘贴 - Cmd/Ctrl+V、缩放 - Ctrl+鼠标滚轮 / 双指缩放
    • 画布中的节点支持复制、框选、添加注释
    • 作业流画布中已经引用过的作业选项置灰，避免重复选择
  • 通用模板支持批量启用同步、批量禁用同步、批量删除
  • 优化运维监控，包括：图形化展示运行结果、展示运行节点日志、支持节点收缩/展开
  • 在线文档增加示例、FAQ

# Bugfixed

← 介质说明 →