# 常见问题解答
# 1.元数据采集不成功,应该如何排查问题。
- 检查元数据系统中数据是否已经正常推送成功,如果推送成功,需要检查后端日志分析具体失败原因。
- 元数据系统推送失败
- 确定元数据功能是否可以正常使用,特别关注采集器引擎是否正常添加配置。
- 确定是否已经有手动维护的数据源和资产维护的编码名称存在冲突。
# 2.数据模型导入模版位置在哪?
在7.3GA及以前的版本,模型导入模版在“数据建模-导入模版”菜单下下载。在7.3.1版本,将下载入口放到了建模IDE中,在左侧资源树的对应层级提供模版下载功能。
# 3.元数据采集的入库策略区别?保守全量、激进全量、增量
激进全量(upsert+delete):采集时全量入库。入库时,比较知识库中已经存在的元数据,若元数据代码一样则更新其内容,若库中尚未存在则插入新的元数据,若库中多余存在则删除库中的元数据。 激进全量主要是在于发现元数据变化情况,配合元数据变更功能,能够发现元数据实时变化,可以作为内部统计和预警通知。
增量(upsert):采集时增量入库。比较知识库中已经存在的元数据,若元数据代码一样则更新其内容,若库中尚未存在则插入新的元数据,若库中多余存在则不作任何处理。 增量方式最大的区别就是增量策略下不会删除已经不存在的元数据,这样可以保留历史的链路关系。
保守全量(delete-insert):覆盖原有采集的数据、覆盖数据与悬挂点内数据的依赖关系;保留数据与悬挂结点外数据的依赖关系。 保守全量则保证了采集到的元数据信息和源端库完全一致,主要对应一些数据应用场景下的元数据查询。
# 4.发布的接口相关信息在哪里能看到?
在服务开发列表上能看到所有原生服务信息,可以根据名称或状态进行查询检索。在资产浏览中可以查看所有已发布为资产的服务目录,其中包含原生服务和三方服务。
# 5.配置了系统和数据源,但是实际选择的时候选不到。
一般情况都是由于元数据推送失败导致的,这块需要配合后端日志分析具体原因。
# 6.数据服务监控没有数据,要怎么才能出来?
数据服务监控需要将服务日志通过filebeat+logstash组件,将日志信息解析存入elasticsearch中。系统会通过es自动获取日志信息并展示数据。
# 7.资产发布流程审批提交报错,后台提示“操作数据异常”?
该报错通常是因为资产/标准等内容发布后系统会自动推送到elasticsearch中,如果此时elasticsearch状态异常,则会出现该提示。此时需要检查elasticsearch是否正常运行,并且在平台配置中确认【搜索引擎】中配置的elasticsearch地址是否正确。
# 8.样例数据怎么导入?
可以在【资产管理】的列表中,在已发布的资产操作功能下找到【上传样例数据】功能,下载对应资产模版手动维护样例数据后导入平台即可。 7.3.1版本增加了样例数据采集工具,可以通过工具自动采集所有已发布的元数据资产。工具为单独的介质,需要单独安装后通过接口方式使用。
# 9.数据质量问题数据结果下载内容为空。
一般是安装问题,需要讲采集器问题数据存放的目录和quaiity-server对应的获取目录配置一致才能正常获取。
# 10.hive数据库采集失败。
默认资产的数据库中没有包含hive的驱动类,需要手动导入对应的lib目录下。另外由于hive版本较多,如果元数据采集失败则需要按照采集库对应的版本放入驱动包,并且删除已经存在的其他版本(多为hadoop、hive开头的jar包)。
# 11.资产审批流程提交提示触发事件执行失败,bps日志显示调用外部接口超时。
修改bps的熔断配置,调整熔断时间和熔断策略。
# 12.如果项目没有买元数据怎么办。
7.3.1版本支持元数据采集器集成,可以在不安装元数据dgs的情况下完成元数据采集场景。安装采集器时也不需要申请元数据license。但是集成版本无法实现数据血缘、数据地图等功能,需要完整功能的还是需要使用单独的元数据系统。
# 13.数据申请中的共享方式有什么区别?在流程上有什么不一样的地方。
目前资产申请主要提供了三种共享方式供用户选择,分别是数据落地、数据服务以及文档下载,对应用户获取共享数据时的三种方式。由于目前数据资产还没有和数据开发平台打通,数据落地和文件下载主要是线上流程审批,并无对应自动化的技术活动。而数据服务则支持管理员可以在线将申请的资源自动生成服务后提供授权认证,并在线上完整服务地址及相关授权信息的录入填写交付工作。
# 14.数据元标准维护页面没有新增按钮。
从7.2版本开始,在标准管理模块增加了分域管理功能,所有的数据权限控制也是围绕分域来展开。用户可以在配置自定义分域,并在分域下设置对应的管理员和分域成员,并且设置分域的可见范围(公开/私有)。 管理员可以对分域下的所有数据标准进行维护管理,而成员则是支持在线浏览查询。如果出现没有操作按钮的情况,多为没有设置当前用户为分域管理员的权限,可以在分域配置页面中配置后重新发布即可。
# 15.导入代码标准页面报413,提示文件内容过大?
nginx如果提示文件内容过大,可以通过调整nginx的配置参数来实现。
# 16.数据服务的数据源如何删除。
7.3.1版本支持数据源的级联删除,当用户在系统管理页面删除系统后,会将关联的数据源信息逻辑删除。不影响已发布服务的正常使用。 对于之前的版本,建议在确认没有对应服务的情况下,可以手动在数据库中删除。
# 17.产品前端源码编译不过。
升级nodejs到14及以上版本。
# 18.服务接口测试时提示“Missing PROD environment data source configuration”
答:测试服务地址配置了生产引擎,而服务处于预发布状态。可以将测试引擎对应到开发引擎上,或者将服务提交到发布状态。7.3.1版本我们默认去除了预发布状态,用户在开发完成后提交则自动发布,可以有效避免该问题的出现。
# 19.代码标准和维度有啥区别。
主要是使用场景的区别,维度主要在指标中应用,代码标准主要在标准下应用。
# 20.数据模型逆向建模时BIT类型找不到对应的抽象类型,导致页面显示为空。
可以通过在数据域映射表(dm_data_type)中增加映射关系。
# 21.我在afcenter中新建了一个账号,跳转元数据提示登录失败。
afcenter的账号体系和元数据之间没有自动同步,因此需要在元数据系统中维护相同账号,并且授予对应元数据管理权限。
# 22.数据资产使用低开模块的时候接口提示没有低开的license权限。
数据资产的产品license中没有低开lowcode组件的授权,需要在申请license时向售后明确。
# 23.标准推荐列表数据是空的。
标准推荐首先需要配置了数据元标准,并且采集了相关的系统元数据信息或者通过逻辑实体发布了相关的数据资产。系统会根据数据元标准中的配置内容(字段名、字段英文名、字段类型、长度这四个维度)进行匹配。只有超过8成相似度的字段会在标准推荐中出现。如果字段完全匹配(相似度评分100分),系统会自动关联建立关联。对于部分匹配的(相似度评分大于等于80,小于100分),会在列表中列出,管理员可以手动选择部分字段完成关联关系的配置。
# 24.基于数据元标准自动生成元数据检核质量规则,规则生成失败或者只生成了部分。
如果全部失败检查一下数据质量中有没有正常配置元数据系统数据源,并且数据源名称要和平台配置中的元数据数据源名称对应上。 1)保证质量服务配置正确 1.application-damp.properties中质量服务名正常填写,并且确保质量正常启动。 2.如果是元数据检核规则,确认元数据数据源正常初始化配置并且保证和平台配置中的数据源名称保持一致。 3.如果是数据内容检核,则确认当前用户有“数据质量”模块中“添加数据源”功能的操作权限。 2)数据元标准正常发布 3)配置数据元标准和元数据字段关联 4)确认都配置正常但是还是没有正常创建,查看damp的日志。
# 25.正常启动后服务引擎监控中看不到。
服务引擎启动后会自动往数据库中的pds_enigine_node插入一条记录,后续会系统会通过心跳检测的方式定时检查引擎状态,检查的日志记录在pds_enigine_node_log表中。如果没有 1)检查服务引擎数据库配置是否和数据资产数据库是同一个。 2)检查pds_enigine_node和log表PID字段长度,修改长度为varchar(10)或更长,保证数据能够正常插入。
# 26.服务引擎测试服务报错,提示“Failed to bind properties under " to com.zaxxer,hikari,HikariDataSource”“
检查服务引擎lib目录下是否存放了数据库所需驱动。
# 27.我在哪里可以控制用户只看到自己部门下的资产?
7.3GASP1版本新增了部门管理员,支持部门管理员查看和维护部门下的资产、模型信息。数据标准通过分域控制管理。
# 28.流程提交后返回管理列表,管理列表显示还是“审批中”,状态没有更新。
资产通过spi方式实现了流程提交后的业务逻辑处理,而使用“我的待办”页面中的“批量”功能,会影响业务逻辑的正常触发,导致业务数据状态没有正常更新。如果是上线生产系统,建议屏蔽批量按钮,您可以获取bfp前端源码修改后替换前端介质,也可以找售后申请相应补丁。
# 29.数据服务调用提示“Illegal argument: SOCIAL CREDIT CODE = ?. Missing required value.”
应该在服务配置或者授权时将某个输入参数设置为必填,如果实际调用接口时没有正常传入则会报错。
# 30.登录系统时提示用户被锁定了应该怎么解锁?
可以使用租户管理员账号在账号管理中手动解锁,如果是管理员账号被锁,可以直接更新afc_user表中的is_lock属性值为0.修改后重新登录即可。
# 31.数据资产相关的XX文档在哪?
数据资产对外的所有文档都可以在file网盘上下载,目前数据资产文档分为两部分,一个是DAMP产品自身的,还有一部分是作为数据资产解决方案的内容。这两个在两个不同的目录下,提供的文档内容也不太一样。产品偏向技术文档,主要是包含产品设计、开发相关内容,而解决方案中主要提供了方案、核心功能参数等信息。