普元数据集成平台 普元数据集成平台
产品介绍
安装部署
快速入门
操作指南
FAQ
  • 数据血缘
  • 数据同步
  • 节点信息
  • 实线、虚线
  • 数据加工
  • 通用模板
  • SQL 程序
  • 作业流

# 数据血缘

注意:使用该功能前请先部署 Neo4j3.5.34(介质中不提供,请自行下载),并在 dws_server/config/application.properties 修改配置开启 neo4j。

   neo4j.start=true
   spring.data.neo4j.uri=bolt://192.168.16.145:7687
   spring.data.neo4j.username=neo4j
   spring.data.neo4j.password=primeton
   logging.level.org.springframework.data.neo4j=INFO

在IDE中进行数据开发时,提交版本后自动进行血缘分析并图形化展示数据血缘图,可以查看整个ETL流程的数据走向包括:数据源、表、字段血缘关系。

支持数据血缘的模型有:数据同步、数据加工、通用模板、作业流、SQL程序(包括:子查询语句、INNER JOIN语句、LEFT JOIN语句、RIGHT JOIN语句、UNION语句)。

⚠️ 提示

1、提交作业版本时,程序会同时进行数据血缘分析,会耗费一些时间,因此版本提交成功后建议延迟一些时间再点击【数据血缘】。

2、数据血缘图,当目标节点配置的表在数据库中存在物理表时则显示的是物理表的字段名;当不存在物理表时则与源表保持一致。

该模块涉及的功能如下:

  • 数据同步
  • 数据加工
  • 通用模板
  • SQL 程序
    • SELECT 语句
    • CREATE 语句
    • INSERT 语句
    • INNER JOIN 语句
    • LEFT JOIN 语句
    • RIGHT JOIN 语句
    • UNION 语句
  • 作业流

# 数据同步

例如,完成如下数据同步作业的开发。点击【提交】按钮,并提示“提交成功”后,再点击【数据血缘】页签即可展示该作业的数据血缘图。

数据血缘

数据血缘

# 节点信息

点击图上红框的“数据源”区域,右侧会显示该节点的相关信息,包括:表信息、直接上游、直接下游、关联任务。

数据血缘

# 实线、虚线

当鼠标放至在某个字段上时,和该字段相关的线会加黑,可以突出显示关联字段。

点击表之间的“实线”、“虚线”,弹框显示表与表之间的数据往来,包括:来源表、来源路径、去向表、去向路径、关联作业。

点击“关联作业”可以跳转到与该表关联的其他相关作业。当关联作业较多时,可以输入关键字进行搜索、过滤。

数据血缘

操作及图形示意 说明
提交 作业开发完成并运行测试正常后,点击该按钮完成版本的提交,同时后台程序会自动进行血缘分析并记录血缘关系数据。
数据血缘 点击该按钮可以切换将界面切换至可视化数据血缘图。
实线 与当前作业直接关联的表、字段。
虚线 与当前作业间接关联的表、字段。
只显示当前作业 对血缘图进行过滤,只显示当前作业的表、字段。
上游显示层数 若血缘图的表上游存在多级关联时,选择该选项可以过滤并只显示指定的与上游关联的表、字段,层数为要输入具体数字。
下游显示层数 若血缘图的表下游存在多级关联时,选择该选项可以过滤并只显示指定的与上下游关联的表、字段,层数为要输入具体数字。
定位节点 可以在下拉框中选择血缘图中的节点。
最大显示字段数 设置数据血缘图中表字段的最大显示个数。
+ 放大数据血缘图。
- 缩小数据血缘图。
1:1 复位数据血缘图的大小,恢复 1:1 的比例。
定位中心表 点击该按钮可以快速定位到血缘图的中心表。
缩略图 通过右下角缩略图可以快速预览并选择显示区域。

# 数据加工

例如,完成如下数据加工作业的开发。点击【提交】按钮,并提示“提交成功”后,再点击【数据血缘】页签即可展示该作业的数据血缘图。

数据血缘

数据血缘

# 通用模板

例如,完成如下通用模板作业的开发。点击【提交】按钮,并提示“提交成功”后,再点击【数据血缘】页签即可展示该作业的数据血缘图。

数据血缘

数据血缘

# SQL 程序

SQL 程序的数据血缘只支持:SELECT语句、CREATE语句、INSERT语句、INNER JOIN语句、LEFT JOIN语句、RIGHT JOIN语句、UNION语句。

示例1:SELECT 语句

数据血缘

数据血缘

示例2:CREATE 语句

数据血缘

数据血缘

示例3:INSERT 语句

数据血缘

数据血缘

示例4:INNER JOIN 语句

数据血缘

数据血缘

示例5:LEFT JOIN 语句

数据血缘

数据血缘

示例6:RIGHT JOIN 语句

数据血缘

数据血缘

示例7:UNION 语句

数据血缘

数据血缘

# 作业流

例如,完成如下作业流的开发。点击【提交】按钮,并提示“提交成功”后,再点击【数据血缘】页签即可展示该作业的数据血缘图。

⚠️ 提示

因作业流都是间接引入其他资源,因此作业流的数据血缘图显示的都是间接关联关系,都是虚线。

数据血缘

数据血缘

← 数据源 作业调度 →