# 产品概述
Primeton DAMP V7数据资产管理平台,各类政府和企业可以通过基础数据、业务数据、统计分析数据等的梳理与排摸,形成包含业务与技术要素的数据资产,在数据资产平台上落地与展现;通过数据标准规划与设计,优化数据模型架构,全面提升数据质量,为企业交付可靠数据;建立数据共享应用管理过程,提升企业数据管理能力,激发数据资源要素潜力,突破信息壁垒与业务藩篱,推动数据资产开发利用。
Primeton DAMP V7适用于各类政府和企业,具备数据资产全要素管理能力,它包含元数据管理、资产目录管理、数据标准管理、数据质量管理等能力。作为数据资产整合、共享、开放、开发、利用的核心基础设施,将数据共享交换平台、数据开发平台、数据服务平台、数据存储平台等进行有机联结,覆盖数据“归”“管”“看”“找”“用”的全生命周期,形成组织的数据底座,推进对组织数据资产的数字化、治理和应用。
# 用户操作手册
# 浏览器要求
序号 | 浏览器 | 最小支持版本 |
---|---|---|
1 | Chrome | >=80 |
2 | Edge | >=80 |
3 | FireFox | >=74 |
4 | Internet Explorer | 默认介质不支持,需要另外提供介质。最低适配IE11版本。 |
5 | Safari | >=73.1 |
# 系统登录与注销
# 登录
- 默认账号为admin 密码为000000。
登陆后按照提示修改默认密码
若密码输入错误次数达到5次,该账号会被锁定,请联系管理员解锁。
# 注销
登录后,可以在右上角点击用户名,出现下拉菜单,点击退出按钮后注销账号登录,跳转到登录页面。
# 系统角色定义
序号 | 角色名称 | 角色描述 |
---|---|---|
1 | 数据中心管理员 | 审批资产相关流程,资产编目、资源申请、标准制定、模型检核等流程 |
2 | 数据资产管理员 | 查看资产相关功能 |
3 | 租户管理员 | 当前租户下系统配置、账号创建、人员授权等操作 |
# 测试账号
序号 | 名称 | 账号 | 密码 | 拥有角色 |
---|---|---|---|---|
1 | dtadmin | dtadmin | 000000 | 数据中心管理员 |
2 | admin | admin | 000000 | 租户管理员 |
PS:使用dtadmin账号可执行平台全部流程
# 资源门户/首页
首页是平台的入口,同时也是展示平台概览情况的页面。
首页整体分为四大部分,第一部分是上方的菜单栏;第二部分是资产检索以及平台资源资产情况统计,第三部分是平台主要菜单快捷入口,第四部分是按资产分类展示资产情况。
# 菜单栏
菜单栏分为两个部分,前部分为平台各功能入口,后部分为登录帐号信息。在菜单栏中可以点击菜单进入到平台各功能页面,账号信息部分支持修改账号密码,退出登录等功能。
# 资产统计
资产检索为输入关键字查询出已发布的资产,不输入任何条件直接点击“资产检索”按钮,即可查询出全部已发布的资产。资产统计展示了平台中各类资产的统计数据,可以直观看到平台各资产的统计情况。
# 快捷入口
快捷入口对平台常用三大功能进行快速跳转,点击菜单名称即可进入对应功能页面。
# 资产分类
按资产的内置分级‘基础分类’‘主题分类’两种分类,并支持自定义分类,点击对应分类即可跳转到资产浏览对应分类中。
# 资产浏览
# 资产浏览
登录账号后,点击上方菜单栏“资产浏览”,进入到资产浏览页面。资产浏览页面是平台上所有已发布的资产浏览页面,可对资产进行查看、申请操作。并支持关键词、分类等方式检索资产。
资产浏览页面支持单一资产申请和批量资产申请两种申请方式。
a) 单一资产申请选择想要申请的资产点击“立即申请”进入到申请单填写页面,填写完表单信息后,点击“提交申请”按钮可以对资产进行申请;
b) 批量申请选择想要申请的资产点击“添加到申请列表”,填写完申请单后点击“提交”,资产进入到待申请列表页面,点击上方的“待申请列表”,可以查看到批量申请的资产,点击“发起申请”可对当前待申请资产进行批量申请。
注意:资产属性会根据共享方式不同展示不同的输入框。“共享方式”选择“数据落地”时,“资产属性”会显示“任务触发类型”,“触发频率”,“目标库”,“目标表”,“共享方式”选择“数据服务”时,“资产属性”会展示“使用方式”,“认证类型”,“ip地址”,“使用期限(天)”,“每天访问限制数”,“共享方式”选择“文件下载”时,资产属性会展示“下载次数”。可根据自己的申请需求进行选择。
具体显示如下图:
点击“添加到申请列表”按钮,进入“选择申请资产属性”页面。 点击“提交”按钮,可以将所选择的资产添加到“待申请列表”。
注意:资产属性同“立即申请”相同。
待申请列表: 可以将所有的“添加到申请列表”的数据同时发起申请。 编辑:点击编辑按钮可以将选择的属性重新编辑。 删除:可以将添加到待申请列表的数据进行删除。 发起申请:点击发起申请进入“数据资产申请表”页面。 点击“提交申请”按钮既可以对“添加到申请列表”的数据进行资产申请。 新增或编辑完成后,点击“提交”按钮,即进入资产申请使用流程。 对应的节点有权限的用户登录,即可在任务中心中对该流程进行审批。 有审批权限的用户登录后,输入办理意见,点击“提交”按钮,即可进行流程审批。审批通过后资产会自动发布。
# 数据资产
登录账号后,点击上方导航栏“数据资产”,再点击左侧“资产管理”即可以进入资产管理页面、左侧分类树展示的是所有的“系统”分类。右侧展示的资产列表。 点击“资产编目”按钮,进入到新增资产编目页面。 目前资产平台支持逻辑模型实体和技术元数据两种类型资产编目。逻辑模型即在模型管理中进行维护的模型文件;技术元数据则是采用元数据对数据源进行采集的表数据。 选择需要编目的资产数据,点击“下一步”。注意:资产数据可以根据“模型名称”,“应用系统”,“实体名称”进行搜索。数据受权限管理。 点击“下一步”后,进入相关补充页面。 将页面内容填写完毕后,点击“下一步”。 注意:“主管部门”,“所属应用系统”为自动带出,不可修改。 点击“下一步”进入“修改属性别名”页面。 该页面可以修改属性名称,对资产属性关联标签,关联相关标准。 点击“暂存”按钮,可以保存填写的内容。 点击“提交”按钮,提交当前资产编目流程。
导出: 点击导出按钮,可以选择“导出当前”,“导出所选”,“全部导出”, “导出当前”会导出当前展示的数据。
“导出所选”会导出选择的按钮。
“全部导出”会导出所有的数据。
资产导入:
点击“资产导入”按钮。进入“资产导入”页面。
若没有模板,可以点击“下载模板”按钮。下载导入模板。在excel模板中填写相关信息后,即可导入。
资产数据导入成功后,点击“保存”按钮,可以将导入的资产数据上传成功。
“编辑”:点击“编辑”按钮,进入“资产编辑”页面。
“资产编辑”页面可以对资产进行修改。
“取消”:点击“取消”按钮,对已经修改的数据不会进行修改,并关闭“资产编辑”页面。
“提交”:点击“提交”按钮,可以对当前资产进行申请。
“暂存”:点击“暂存”按钮,可以对已经修改的数据保存。
取消发布:可以对已经发布的资产进行取消发布。
“变更”:点击“变更”按钮进入“资产变更”页面。
“资产变更”页面,可以对资产数据进行修改。
“发布”:点击“发布”按钮,可以对已经取消发布的资产重新发布。
“新增”、“编辑”完成后,或者点击“变更”按钮。点击“提交”按钮,即进入资产发布、变更流程,参考发布流程。
# 需求清单
登录操作员账号,点击上方导航栏“资产管理”,再点击“需求清单”按钮。进入“需求清单”页面。 点击“需求清单”列表中的需求编号,可以查看需求详情。 在申请详情列表数据点击“查看详情”进入“申请详情”页面。
# 资产申请
登录操作员账号,点击上方导航栏“资产管理”,再点击“资产申请”按钮。进入“资产申请”页面。 点击“资产申请列表”数据资产名称,进入申请详情页面。
# 我发布的资产
登录操作员账号,点击上方导航栏“资产管理”,再点击“我发布的资产”按钮。进入“我发布的资产”页面。 点击我发布的资产数据中“资产名称”,进入“资产详情页面”查看资产详情。 点击“申请情况”按钮,即可以进入“申请情况”页面。可以查看资产的申请详情。
# 资产分类管理
登录操作员账号,点击上方菜单栏“数据资产”,再点击“资产分类管理”按钮。进入“资产分类管理”页面。 “新增”:点击“新增”按钮。即弹出新增“新增资产分类”弹出框。 “提交”:输入信息后点击“提交”按钮可以新增资产分类。
注意:平台支持两种新增方式,点击“新增”按钮或在左侧分类树分类上点击鼠标右键,选择“新建子分类”按钮两种方式。“父级分类”是根据点击左侧的分类树或进入该分类下自动带出。
“编辑”:点击“编辑”按钮,弹出“编辑资产分类”弹出框;或在左侧分类树右键点击然后选择“修改分类”。 “提交”:可以保存修改后的资产分类。
删除:可以将所选择的资产分类数据进行删除;或是点击右键选择“删除”按钮。
# IT资源管理
登录操作员账号,点击上方菜单栏“数据资产”,再点击“IT资源管理”按钮。进入“应用系统维护”页面。
点击“新增应用系统”打开“新增系统”页面。
新增系统信息页面【数据存储情况】栏中点击“新增”按钮,打开“新增数据源”弹出框。
“确定”:点击“确定”按钮,可以新增一条数据源数据。
“取消”:点击“取消”按钮,关闭“新增数据源”弹出框。
“开始测试”:点击“开始测试”按钮,可以对新增数据源进行测试连接。
新增系统信息页面点击“删除”按钮,可以将所选择的数据源数据进行删除。
新增系统信息页面点击“提交”按钮,可以将填写的系统信息进行保存。
或是可以点击“选择数据源”进入到数据源选择页面。数据源选择页面为已提前维护好的数据源。维护数据源在【公共资源管理】-【数据源管理】。
点击导出按钮,可以选择“导出当前”,“导出所选”,“全部导出”,
“导出当前”会导出当前展示的数据。
“导出所选”会导出选择的按钮。
“全部导出”会导出所有的数据。
“编辑”:点击“编辑”按钮,弹出“编辑系统信息”弹出框。
编辑系统信息,可以对系统信息修改。点击“取消”,将关闭“编辑系统信息”页面。且不会对修改数据进行保存。点击“提交”,会将修改的数据进行保存并关闭“编辑系统信息”弹出框。
# 安全等级配置
登录操作员账号,点击上方菜单栏“数据资产”,再点击“安全等级配置”按钮。进入“安全等级配置”页面。 “新增”:点击“新增”按钮,打开“新增安全定级”弹出框。 “取消”:点击“取消”按钮,关闭“新增安全定级”弹出框。 “提交”:点击“提交”按钮,新增一条安全定级数据。 “编辑”:点击“编辑”按钮,打开“修改安全定级”弹出框。 “取消”:点击“取消”按钮,关闭“修改安全定级”弹出框。 “提交”:点击“提交”按钮,保存修改的安全定级数据。 “删除”:将选择的安全定级数据删除。
# 问题上报
登录操作员账号,点击上方导航栏“数据资产”,再点击“问题上报”按钮。进入“问题上报”页面。
“新增问题上报”:点击“新增问题上报”按钮。打开“新增问题上报”弹出框。
“取消”:点击“取消”按钮,关闭“新增问题上报”弹出框。
“提交”:点击“提交”按钮,进入问题上报流程。
对应的节点有权限的用户登录,即可在任务中心中对该流程进行审批处理。
有审批权限的用户登录后,输入办理意见,点击“提交”按钮,即可进行流程审批。
“查看详情”:点击“查看详情”,弹出“问题详情”弹出框。
# 模型管理
# 模型查询
登录操作员账号,点击菜单栏的“数据资产”,再点击右侧“模型管理”下拉菜单,选择“模型查询”进入到模型查询页面。
在左侧“系统列表”选择想要查看的系统的,系统根据部门进行分类。右侧展示【模型文件】、【概念实体】、【逻辑实体】、【物理实体】四种模型,可切换不同类型进行查看。
注意:置灰的系统为该系统下暂无对应的模型数据。
# 模型文件下载
上传的模型文件,点击列表中的“下载”按钮可进行下载。
# 模型文件详情
点击列表中的“详情”按钮可以查看该模型文件下的实体列表以及实体之间关系的详情展示。 点击“实体关系”按钮展示该模型文件下实体之间的关系,对应的节点上鼠标右键可选择显示该实体的详情。
注意:
进入之后如果节点展示为蓝色的即为当前选中的实体(如果从实体列表点击查看关系)。
如果是逻辑模型实体或物理模型实体显示详情会展示其关联的属性信息。
点击相应的实体名称菜单即可进入对应实体的TAB页,可查看对应的实体关系。
# 模型管理
登录操作员账号,点击菜单栏的“数据资产”,再点击右侧“模型管理”下拉菜单,选择“模型管理”进入到模型管理页面。
# 列表查询
点击“刷新”按钮,可刷新当前模型管理界面。
右侧的搜索框可直接根据提示文字输入系统名称进行搜索,也可点击高级展开搜索框,输入系统名称或者选择系统状态、选择系统验收节点,点击“搜索”按钮进行搜索。
系统验收节点状态:
1.导入:模型文件上传。
2.解析:模型文件解析入库。
3.关联:模型文件之间的关联。
4.检核:模型文件内容的检核。
5.验收:模型文件验收发布。
注意:蓝色标点为已执行完毕的验收节点,黄色标点为当前项目执行的验收节点。
# 模型上传
点击“模型上传”按钮,弹出模型文件上传弹窗,点击“上传模型文件”按钮上传模型文件,点击上传按钮将文件上传。 上传完成后,系统会自动将模型文件解析入库并关联模型文件之间的关系,同时对模型进行检核。
# 模型开发
无模型文件,可点击“模型开发”,会跳转到数据建模平台进行模型开发。
注意:模板发布,仅能发布一次,未发布前可多次修改。
1.点击“模型开发”按钮,进入到数据建模页面。 2.在数据建模首页,左侧为三类模型,顺序为:生成【概念模型】,落地【逻辑模型】,逻辑模型阶段则需维护具体字段信息,由【逻辑模型】生成【物理模型】;右侧为资产平台维护好的三类模型,数据源即为元数据采集的表数据,数据元标准为资产平台-标准管理中维护好的标准文件,数据资产则是资产平台中已经发布的数据资产。
3.概念模型 选择【概念模型】,右键点击,点击“新增”按钮,进入到新增概念模型页面。 输入完成后,点击“确定”按钮进入到画布。 在左侧的拖拽区,可拖动【实体】、【注释】、【分组】到画布中。 输入表基本信息后,点击“确定”。 完成表基本信息后,拖动表连接点到关联表上,即可生成关联关系。 也可以在右侧【数据源】、【数据元标准】、【数据资产】中拖到想要操作的实体信息到画布中。 新增模式等同于上步。
4.逻辑模型 维护好概念模型后,进入到逻辑模型页面,方式同样是右键点击“新增”输入信息后,点击“确定”按钮进入到画布。 双击表进入到表字段维护页面。 重复此步骤维护另一张表字段信息。 在实际开发中维护关联关系我们需要增加一张中间表,同样在逻辑模型里面我们也需要增加一张中间表。
5.物理模型 维护好逻辑模型后可直接在线生成物理模型。在逻辑模型上,右键,点击“生成物理模型”。 生成完毕物理模型后,回到模型管理页面,点击模型发布。 发布成功后就可以在系统详情中查看到各类模型的文件。
# 模型验收
点击系统验收节点状态点击“验收”节点会弹出模型验收单的窗口查看模型验收的统计信息以及影响的资产信息,点击发起验收即可进入模型验收流程。 登录对应有审批权限的用户,点击菜单栏的“工作流程”菜单,再点击左侧菜单栏的我的待办,领取对应的流程。 再点击刚才领取的流程标题,进入流程页面点击“提交按钮”将验收流程完成。
注意:如果不同意则点击“提交”旁的“回退”按钮。
# 模型变更流程
验收完成的模型可以进行变更操作,点击选中系统行的“发起变更”按钮,进行模型变更流程。功能基本同验收流程。
# 查看历史
点击选中系统行的“查看历史”按钮,可以弹出该系统历史的所有模型信息。
# 执行任务管理
登录操作员账号,点击菜单栏的“数据资产”,再点击右侧“模型管理”下拉菜单,选择“执行任务管理”进入到执行任务管理页面。
# 查看检核日志
点击列表选中行的“查看检核日志按钮”展示该系统发布版本下的任务日志。
注意:
1.任务类型:
a) 文件上传:模型文件上传。
b) 文件解析:模型文件解析入库。
c) 模型关联:模型文件之间的关联。
d) 模型检核:模型文件内容的检核。
e) 项目验收:模型文件验收发布。
# 查看任务详情
点击系统下任务列表中选中行的“查看任务详情”按钮,可查看该任务详细信息。
# 模型等级配置
登录操作员账号,点击菜单栏的“数据资产”,再点击右侧“模型管理”下拉菜单,选择“模型检核等级管理”进入到执行任务管理页面。 页面可通过勾选多选框对选择的系统进行模型检核完整性、规范性、一致性配置是否进行严格校验。 右侧的搜索框可直接根据提示文字输入系统名称进行搜索,也可点击高级展开搜索框,输入系统名称或者选择系统状态点击“搜索”按钮进行搜索。
# 模型检核定时任务
登录操作员账号,点击菜单栏的“数据资产”,再点击右侧“模型管理”下拉菜单,选择“模型检核定时任务”进入到执行任务管理页面。
注意:模型检核定时任务为了定时检核该系统下对应的技术元数据是否与发布的模型版本数据一致,不一致时会向相关负责人发送邮件、短信告警。
# 检核定时任务查询
右侧的搜索框可直接根据提示文字输入系统名称进行搜索,也可点击高级展开搜索框,输入系统名称或者选择执行时间间隔点击“搜索”按钮进行搜索。
# 检核定时任务新增
点击左上角“新增”按钮可新增模型检核定时任务。 注意:表单中需选择执行任务的系统,开始时间,结束时间和触发模式。 1.固定时刻触发 点击触发模式中的固定时刻触发的单选框,下面可填写触发间隔时间和执行次数,即定时任务每隔多少时间(间隔时间)执行总共多少次(执行次数)。 2.日历周期触发 点击触发模式中的日历周期触发的单选框,下面可点击生成cron表达式的日历周期弹窗,供用户选择定时任务的触发时机和次数。 3.自定义Cron表达式 点击触发模式中的日历周期触发的单选框,下面可填写用户自定义的合规的cron表达式执行定时任务。
# 检核定时任务编辑
编辑检核定时任务的功能除无法修改系统名称外。
# 检核定时任务状态控制
点击列表中选中系统行的“暂停”或“启动”按钮,可实现对检核定时任务的状态控制。
# 检核定时任务删除
点击列表中选中系统行的“删除”按钮,可删除指定系统的检核定时任务。。
# 检核定时任务执行日志
点击列表中选中系统的“执行日志”按钮,可查看该定时任务的检核日志列表。 点击检核日志列表中的“查看任务详情”按钮,可查看该任务的执行详情信息。
# 标准管理
# 标准检索
登录账号后,点击菜单栏的“数据资产”,再点击右侧“标准管理”下拉菜单,选择“标准检索”进入到标准检索页面。 在检索内容输入框内可以输入想要检索的内容,然后点击“标准检索”按钮,即可显示对应内容。 在搜索栏的下方,可以选择不同的标准类型,支持数据元、指标、代码标准、业务术语,点击对应的分类即可切换不同的TAB页。 点击后面的“查看详情”按钮可以查看对应标准的具体内容。
# 标准文档
点击右侧“标准管理”下拉菜单,选择“标准文档”进入到标准文档页面。 在标准文档页面中,可以维护标准文档,并支持下载。点击上方的“新增”按钮进入到新增标准文档页面。 填写完成信息后,点击“确定”按钮上传标准文档,点击“取消“则关闭当前新增页面。 点击对应文档后面的“下载”按钮可以下载当前标准文档。 点击下载按钮后面的三角符号可以唤出编辑、删除按钮。 “编辑”:对当前的标准文档的基本属性进行修改,不支持文件再上传。 “删除”:删除当前标准文档。
# 维度管理
登录账号后,点击菜单栏的“数据资产”,再点击右侧“标准管理”下拉菜单,选择“维度管理”进入到维度管理页面。 平台支持新增、导入两种维护维度的入口,点击上方的“新增”按钮进入到新增维度页面;点击上方的导入维度进入到导入维度页面。 在新增维度时可以同时新增维度值,也可在新增维度后在后面的操作栏中“维度值管理”中进行维护维度值。在新增维度页面点击“新增”按钮,输入维度值信息后,点击“提交”按钮即可新增一条维度。“取消”则关闭当前新增维度页面。 点击“导入维度”按钮进入到导入维度页面 导入维度需要先在左侧分类列表选择分类,然后在右侧列表选择想要导入的维度,然后点击上方的“导入”按钮,即可导入维度。导入的值在【代码标准管理】中维护。 在列表页中操作栏里,支持维度值管理、编辑维度两个操作。 点击“维度值管理”进入到维度值维护页面 在维度值管理页面,可对该维度下的维度值进行新增、编辑、删除操作。 编辑维度则在操作栏中点击“编辑”按钮,进入到编辑维度页面。 “提交”:维护完成后点击“提交”按钮即可完成编辑操作。 “关闭”:则关闭当前编辑维度页面、
# 标准推荐
登录账号后,点击菜单栏的“数据资产”,再点击右侧“标准管理”下拉菜单,选择“标准推荐”进入到标准推荐页面页面。 在推荐页面可操作资产与数据元标准进行关联,可进行批量关联。选择想要关联的数据,点击“添加关联”按钮,即可完成关联操作。或是在列表页操作蓝中点击“关联”按钮。 “取消关联”:则是对已关联的数据元标准进行取消。
# 业务术语标准管理
标准管理中点击“业务术语标准管理”菜单即可进入业务术语标准管理页面。
# 业务术语标准列表
业务术语标准列表列出来当前用户有权限管理的所有业务术语。列表中流程状态显示当前术语状态。新建状态的业务术语可以进行编辑、删除操作;审批完成状态的业务术语如需修改,需进行变更流程审批。
# 新增业务术语
业务术语新增不能在分类树的根目录下新增,必须要在各节点下进行新增。先在左侧选择分类,然后点击“新增”按钮进入到新增页面。 新增页面,点击“暂存”按钮,即为保存业务术语为新建状态,点击“提交”按钮,该业务术语即进入发布审批流程。业务术语的分类为列表业务所在的分类树自动带入该页面,不可进行修改。 业务术语中文名称、英文名称不可在与其他业务术语标准重复。
# 编辑业务术语
在业务术语列表中,可对新建状态的业务术语进行编辑操作。编辑业务术语业务如下图所示。
# 删除业务术语
在业务术语的列表页面,点击处于“新建”状态的业务术语的“删除”操作按钮,即可对该业务术语进行删除。 如图,点击“删除”后,出现删除提示,点击“确定”后,业务术语即可删除。
# 批量导入业务术语
业务术语还可按业务术语模板在线下编辑业务术语,编辑完成后统一导入到系统中。
第一步:点击“导入模板下载”按钮,将业务术语导入模板下载到本地。
第二步:在下载到本地的excel文件中填写需导入的业务术语后,点击“批量导入”按钮,打开导入页面,点击导入按钮,选择本地的excel文件。
第三步:系统对选择excel文件中的业务术语进行解析,将解析的结果显示在页面中。
第四步:选择对应的计划书,点击“确定”按钮,即可将该页面的业务术语导入到系统中。
# 导出业务术语
在业务术语的列表页面,点击“导出”按钮,选择“导出当前页”即可导出当前页的所有业务术语;点击“导出所选”即可导出当前页面中所选择的业务术语;点击“全部导出”,即可导出所有的业务术语。
# 查看业务术语
在业务术语列表页面,点击业务术语的中文名称,即可打开业务术语的详情页面,对业务术语进行查看。
# 业务术语发布审批
在业务术语新增或编辑完成后,先点击“编辑”按钮进入到编辑页面,然后点击“提交”按钮,即进入业务术语发布流程。 对应的节点有权限的用户登录,即可在任务中心中对该流程进行审批。 有审批权限的用户登录后,输入办理意见,点击“提交”按钮,即可进行流程审批。
# 变更业务术语
如需对已发布的业务术语进行修改,则需进行变更业务术语流程审批。审批流程同发布流程。在列表操作栏中点击“变更申请”进入到变更页面,编辑完成后点击“提交”按钮,进入到变更流程中。
# 标准关联
已发布的业务术语可进行关联。 在业务术语列表中点击已发布的业务术语后的“添加关联”按钮,打开关联概念模型页面。 选择需关联的概念模型实体,点击“关联”按钮,即可将该业务术语与所选的概念模型实体关联。 如需取消业务术语与概念模型实体的关联,则选中已关联的概念实体,点击“取消关联”按钮。 系统出现是否确认取消关联的提示,点击“确定”按钮,即可将业务术语与选中的概念实体关联取消。
# 标准检核
在业务术语的列表页面,点击需检核的业务术语后的“检核”按钮,即可对该业务术语关联的概念实体进行检核。 业务术语检核主要检核关联的概念实体的名称是否正确。业务术语标准检核结果如下图所示。系统将不合格的实体与合格的实体列出来。
# 数据元标准管理
# 数据元标准列表
点击页面上方菜单栏中“数据资产”,再点击左侧导航栏的“标准管理“打开下拉菜单,点击“数据元标准管理”进入到数据元标准管理页面。在右侧页面中可以看到已经创建的数据元标准,上方提供数据元标准列表搜索功能,对数据元标准的标识码、名称、管理状态、字段名、同义名称、文档名称进行数据筛选。
# 新增数据元标准
数据元标准新增不能在分类树的根目录下新增,必须要在各节点下进行新增。先在左侧选择分类,然后点击页面上方的“新增”按钮进入到新增页面。 新增页面,点击“暂存”按钮,即为保存数据元标准为新建状态,点击“提交”按钮,该数据元标准即进入发布审批流程。
注意:
如果值域选择引用代码标准,点击值域数据框如下图会弹窗选择代码标准页面,选择引用的代码标准点击“确认”按钮即可。
# 数据元标准审批
点击页面上方菜单栏中“工作流程”,进入到我的任务-待办任务列表页面,找到新增的数据元标准的流程标题并点击,出现如下图数据元审批页面。 填写办理意见信息,如不同意点击“回退”按钮即可;同意点击“提交”按钮即可。
# 批量导入数据元标准
点击页面上方菜单栏中“数据资产”,再点击左侧导航栏的“标准管理“打开下拉菜单,点击“数据元标准管理”进入到数据元标准管理页面。点击列表上的“导入模板下载”按钮下载导入模板把要导入的数据元标准数据线下填充进模板,再点击“批量导入”按钮弹窗如下图上传文件页面。
# 导出数据元标准
点击页面上方菜单栏中“数据资产”,再点击左侧导航栏的“标准管理“打开下拉菜单,点击“数据元标准管理”进入到数据元标准管理页面。再点击列表上的“导出”按钮导出相应的数据元标准数据excel文件。
注意:导出提供导出当前页、导出所选、导出全部三种导出方式如下图所示。
# 编辑数据元标准
点击页面上方菜单栏中“数据资产”,再点击左侧导航栏的“标准管理“打开下拉菜单,点击“数据元标准管理”进入到数据元标准管理页面。对于“新建”状态的数据元可以进行编辑,点击列表上的“编辑”按钮弹窗到如下图的编辑指标标准页面。 可对名称、字段名、同义名称、类别、制定依据、说明、表示类别、表示格式、计量单位、值域、归口管理部门、权威系统、计算公式、计算频率、备注、标签等信息进行编辑,确认无误后点击“提交”按钮进行数据保存。
注意:
1.如果值域选择引用代码标准,点击值域数据框如下图会弹窗选择代码标准页面,选择引用的代码标准点击“确认”按钮即可。
2.编辑数据元时点击“提交”按钮后审批借鉴数据元标准审批。
# 变更申请指标标准
可对流程状态为“审批完成”的数据元进行变更申请操作,在列表操作栏中点击“变更申请”按钮,进入到变更申请页面。 可对名称、字段名、同义名称、类别、制定依据、说明、表示类别、表示格式、计量单位、值域、归口管理部门、权威系统、计算公式、计算频率、备注、标签等信息进行编辑,确认无误后点击“确认”按钮进行数据保存。
# 删除数据元标准
对于“新建”状态的数据元可以进行删除,点击列表上的“删除”按钮弹窗确认删除提示窗。 确认后点击“确认”按钮进行数据删除。
# 查看数据元标准
点击列表上的名称超链接弹窗到如下图的查看数据元标准页面。
# 数据元标准落地
在列表页,点击操作栏中的“添加关联”按钮弹窗到如下图的数据元标准关联页面。 上图页面提供数据元标准关联逻辑实体、物理实体、技术元数据、资产数据功能以及对应的取消关联功能,也提供对逻辑实体、物理实体、技术元数据、资产数据列表数据进行数据筛选功能。
# 生成规则
在列表页面中的操作栏点击“生成规则”按钮,即可将规则推送至数据质量平台,用于质量平台规则使用。
# 执行规则
点击“生成规则”后,数据质量平台生成规则与对应任务,列表页出现“执行规则”按钮,点击“执行规则”执行该任务。
# 历史版本
在列表页,点击操作栏中的“历史版本”按钮弹窗到如下图的数据元标准历史版本。 在此页面可以查看到该数据元的历史版本。
# 代码标准管理
# 代码标准列表
点击页面上方菜单栏中“数据资产”,再点击左侧导航栏的“代码标准管理“打开下拉菜单,点击“代码标准管理”进入到代码标准管理页面。
# 新增代码标准
代码标准新增不能在分类树的根目录下新增,必须要在各节点下进行新增。先在左侧选择分类,然后点击页面上方的“新增”按钮进入到新增页面。 图中根据相关提示填写该代码标准的相关信息,带有星号为必填项;代码表项可以对该代码标准增加代码值,填写代码和代码名称(可增加多项,或者删除多项代码值),填写相关信息后:点击“提交”按钮,保存该代码标准,并发起申请,流程状态为审核中;点击“暂存”按钮,不发起申请,该代码标准流程状态为新建状态。
# 编辑代码标准
在列表页操作栏中点击“编辑”按钮,进入到编辑页面。 修改相应信息后点击“提交”或“暂存”按钮,同新增。
# 查看代码标准详情
点击列表上的名称超链接弹窗到如下图的查看代码标准页面。
# 删除代码标准
对于“新建”状态的代码标准可以进行删除,点击列表上的“删除”按钮弹窗确认删除提示窗。 确认后点击“确认”按钮进行数据删除。
# 批量导入模板下载
点击页面上方菜单栏中“数据资产”,再点击左侧导航栏的“标准管理“打开下拉菜单,点击“代码标准管理”进入到代码标准管理页面。点击列表上的“导入模板下载”按钮下载导入模板把要导入的代码标准数据线下填充进模板,再点击“批量导入”按钮弹窗如下图上传文件页面。
# 批量导入代码标准
# 批量导出代码标准
分别可以导出当前列表中展示的数据、多选框所选中的数据、库中存储的所有数据
# 指标标准管理
# 指标标准列表
点击页面上方菜单栏中“数据资产”,再点击左侧导航栏的“代码标准管理“打开下拉菜单,点击“指标标准管理”进入到指标标准管理页面。该菜单可以看到已经创建的指标标准,上方提供指标标准列表搜索功能,对指标标准的标识码、名称、管理状态、字段名、分类、同义名称、计划书名称进行数据筛选。
# 新增指标标准
点击页面上方菜单栏中“标准管理”,再点击左侧导航栏的“指标标准管理“,左侧选择一种分类,再点击列表上的“新增”按钮弹窗到如下图的新增指标标准页面。 填写名称、字段名、同义名称、类别、制定依据、说明、表示类别、表示格式、计量单位、值域、归口管理部门、权威系统、计算公式、计算频率、备注、标签、统计维度、计划书等信息,确认无误后点击“提交”按钮进行数据保存。
注意:
添加指标关联维度时点击新增指标标准页面的“添加维度”按钮,右侧会弹窗
填写相关信息后:点击“提交”按钮,保存该指标标准,并发起申请,流程状态为审核中;点击“暂存”按钮,不发起申请,该指标标准流程状态为新建状态。
# 指标标准审批
点击页面上方菜单栏中“工作流程”,进入到我的任务-待办任务列表页面,找到新增的数据元标准的流程标题并点击,出现如下图数据元审批页面。 填写办理意见信息,如不同意点击“回退”按钮即可;同意点击“提交”按钮即可。
# 批量导入指标标准
点击列表上的“导入模板下载”按钮下载导入模板把要导入的指标标准线下填充进模板,再点击“批量导入”按钮弹窗如下图上传文件页面。 提供计划书选择、指标标准删除以及指标标准修改;确认信息无误后点击“确认”按钮进行数据保存。
# 导出指标标准
点击列表上的“导出”按钮导出相应的指标标准数据excel文件。
注意:导出提供导出当前页、导出所选、导出全部三种导出方式如下图所示。
# 编辑指标标准
对于“新建”状态的指标可以进行编辑,点击列表上的“编辑”按钮弹窗到如下图的编辑指标标准页面。 可对名称、字段名、同义名称、类别、制定依据、说明、表示类别、表示格式、计量单位、值域、归口管理部门、权威系统、计算公式、计算频率、备注、标签、统计维度等信息进行编辑,确认无误后点击“提交”按钮进行数据保存。
注意:
添加指标关联维度时点击新增指标标准页面的“添加维度”按钮,右侧会弹窗 如下图选择关联维度页面,进行维度选择,选择完后点击“确认”按钮即可。
编辑指标时点击“提交”按钮后审批借鉴指标标准审批。
# 变更申请指标标准
对于流程状态为“审批完成”的指标标准才可进行变更申请,点击列表上的“变更申请”按钮弹窗到如下图的编辑指标标准页面。 可对名称、字段名、同义名称、类别、制定依据、说明、表示类别、表示格式、计量单位、值域、归口管理部门、权威系统、计算公式、计算频率、备注、标签、统计维度等信息进行编辑,确认无误后点击“提交”按钮进行数据保存。
注意:
添加指标关联维度时点击新增指标标准页面的“添加维度”按钮,右侧会弹窗 如下图选择关联维度页面,进行维度选择,选择完后点击“确认”按钮即可。
编辑指标时点击“提交”按钮后审批借鉴指标标准审批。
# 删除指标标准
对于流程状态为”新建“状态的指标标准才可以进行删除,点击列表上的“删除”按钮弹出确认删除确定框,点击“确认”按钮进行数据删除。
# 查看指标标准
点击列表上的名称超链接弹窗到如下图的查看指标标准页面。
# 指标标准落地
对流程状态为“审批完成”的标准,可以进行指标关联操作。点击列表上的“添加关联”按钮,即可弹窗到如下图的指标标准关联页面。 上图页面提供指标标准关联逻辑实体、物理实体、技术元数据、资产数据功能以及对应的取消关联功能,也提供对逻辑实体、物理实体、技术元数据、资产数据列表数据进行数据筛选功能。
# 查看指标标准检核结果
点击列表上的“检核”按钮弹窗到如下图的指标标准检核结果页面。
# 分类管理
# 分类列表
登录账号后,点击菜单栏的“数据资产”,再点击右侧“标准管理”下拉菜单,选择“分类管理”进入到分类管理页面。
# 新增分类
点击菜单栏的“数据资产”,再点击右侧“标准管理”下拉菜单,选择“分类管理”进入到分类管理页面,再点击列表上的“新增”按钮弹窗到如下图的新增分类页面。 选择节点类型(注:一个标准分类数节点类型只能有一种)、填写节点名称、节点编码、排序、是否叶子节点、描述等字段,点击“提交”按钮进行保存。
# 分类批量导入
点击菜单栏的“数据资产”,再点击右侧“标准管理”下拉菜单,选择“分类管理”进入到分类管理页面,再点击列表上的“批量导入模板下载”按钮下载导入模板,把要导入的标准分类填充进模板,再点击“批量导入”按钮弹窗如下图上传文件页面。 可进行数据的删除和修改操作,确定无误后点击“确定”按钮进行数据保存。
# 修改分类
点击菜单栏的“数据资产”,再点击右侧“标准管理”下拉菜单,选择“分类管理”进入到分类管理页面,再点击列表上的“编辑”按钮弹窗到如下图的编辑分类页面。 可对节点名称、排序、是否叶子节点、描述等字段进行编辑,确定数据无误后点击“提交”按钮进行数据保存。
# 删除分类
点击菜单栏的“数据资产”,再点击右侧“标准管理”下拉菜单,选择“分类管理”进入到分类管理页面,再点击列表上的“删除”按钮弹窗到如下图的分类删除确认页面。
确认后点击“确认”按钮进行数据删除。
# 标签管理
# 标签分类
登录操作员账号后,点击菜单目录的“数据资产”,点击“标签管理”唤出下拉菜单,点击“分类管理进入到分类管理页面。
# 分类列表
点击左侧分类树,右侧分类列表展示该分类下子孙及以下层级的分类信息, 关键字搜索,根据分类名称中存在的词语查询。
# 分类新增
点击分类树上的一个节点(默认时全部分类),点击“新增”,带有红色星号为必填项; 分类名称:任意字符组合最长256个字; 权重:用于添加标签时,标签分类的展示顺序; 排序序号:分类在列表中展示的顺序; 描述:此分类的详细描述。
# 分类编辑
点击列表中的“编辑”按钮,可以对该分类的相关信息进行修改。
# 分类删除
点击列表中的“删除”按钮,点击“确定”,可以对该分类进行删除操作。
# 标签管理
登录操作员账号后,点击菜单目录的“数据资产”,点击“标签管理”,再点击左侧目录树的“标签管理”。
# 标签查询
左侧标签树由标签分类和标签组成,图中1是标签,2是分类;点击3“搜索”时,关键字根据标签名称中存在该词语进行搜索;“重置”可以清空搜索条件”。
# 标签新增
点击左侧树上的分类或者标签,可以进行标签的新增,带星号为必填项。 标签名称:任意字符,最长50个字符; 权重:关联标签时,查询的优先级; 可查看角色:设置所属人群的权限设置,该人群下的用户,可以看到此标签(已发布状态); 描述:标签的详细描述; 标记颜色:可指定可选的颜色中的一种,默认第一个颜色。
# 删除标签
点击列表中的“删除”按钮(未发布状态下的标签可删除操作)。
# 编辑标签
点击列表中的“编辑”按钮,弹出编辑框,对标签进行修改。
# 查看标签
点击列表中的标签的“名称”,可以查看此标签的所有信息。
# 发布/取消发布标签
已发布的标签可以在关联标签时被搜索到。
# 标签关联
登录操作员账号后,点击菜单目录的“数据资产”,点击“标签管理”,再点击左侧目录树的“标签关联”。
# 标签关联
在列表中点击“关联”操作,弹出关联数据框,还有高级搜索中的条件查询数据,然后复选框选中可批量操作“关联”/“取消关联”,或者,可单条记录进行操作。
# 查看标签已关联的数据
如下图所示,在标签列表中点击关联数据列,即可打开标签已关联的数据的窗口查看标签已关联的数据。
# 知识库
# 知识浏览
登录操作员账号后,点击菜单目录的“数据资产”,点击“知识库”,再点击左侧目录树的“知识库”,知识列表根据左侧分类进行归类,搜索时根据知识标题和知识内容查询。
# 知识检索
在知识列表页面上面的查询框输入要查询的关键字,点击“知识检索”按钮,即可检索出查询的知识。
# 我的知识
# 知识新增
点击我的知识菜单,进入到我的知识页面。
在我的知识页面点击“新增”按钮,即可进入新增知识页面。
如上图所示,新增知识需填写如图中内容,星号为必填项。
知识名称:该知识点的标题;
知识类型:该知识所属的分类;
知识描述:该知识的详细描述;
知识内容:该知识所要表达的内容文本;
文件上传:该知识的相关附件文件。
# 查看知识
在知识列表中点击要查看的知识标题,即可打开知识的详情页面。
# 编辑知识
如下图操作步骤,对我的知识进行修改。
# 删除知识
在知识列表中,点击相应知识后面的“删除”按钮,再点击“确定”,即可删除该知识
# 知识分类
# 查询知识分类
在列表上方的搜索条件框中输入搜索条件时,根据分类名称中存在该词语的分类。
# 新增知识分类
# 编辑知识分类
# 删除知识分类
在知识分类列表中点击分类的“删除”操作按钮,即可删除知识分类。
# 元数据管理
元数据管理方便通过资产平台管理查看相关元数据信息。
# 数据浏览
按系统采集相关元数据,并查询元数据信息(表、字段)。
# 采集日志
查看元数据采集日志信息。
# 采集任务
查看元数据采集任务信息。
# 资产配置
配置系统操作的相关参数。
# 平台配置
配置元数据、数据质量、数据模型、搜索引擎等相关信息。
# 系统配置
手动执行资产相关初始化操作功能。
# 数据服务
# 服务管理
# 服务开发
服务开发提供了配置化的服务开发能力,用户可以选择根据模型或者自定义SQL方式配置开发服务。配置中用户可以自定义输入、输出参数,配置服务的行列权限、脱敏加密规则等。在开发完成后用户可以提交预发布用以测试服务结果,系统提供了在线测试的方式。最终在提交审批通过之后发布到生产环境,对外提供数据API服务。
# 新增服务
1)在服务列表的左上角点击“服务生成”按钮,进入新增服务向导页面。 2)此时用户可以选择使用“模型服务“或”结果集服务“,按照服务开发需求选择相应类型进入下一步配置。 PS: 模型服务是根据平台预先配置的数据源(”数据源配置“功能说明详见【资产管理-系统管理】章节)所采集到的元数据模型进行配置开发,通常用于简单的单表或多表关联配置服务场景。 结果集服务是用户通过自定义SQL方式开发服务,通常用于较复杂场景以及特殊的数据库函数调用等场景。
# 单表模型配置
1) 第一步配置服务基本信息,填写服务名称、服务编码、所属系统、所属部门等信息。其中服务编码会作为后续服务的唯一标识,在服务地址中区分不同服务的信息,因此只能够填写英文/数字,并且不能重复。 2) 第二步“选择模型”,用户选择开发服务相关的模型信息,只能选择一个。 3) 点击下一步进入输入参数配置页面,选择可以作为输入参数字段,并且可以设置输入参数是否必填以及相应的加密策略。输入参数配置加密策略后,用户调用接口是入参需要按照所选择的规则进行加密后才能够正常访问服务。 配置完成后点击下一步进入输出参数配置页面。 4) 在输出参数配置页面,用户可以配置服务的返回值字段,并且设置输出参数的加密脱敏规则。配置完成后点击“提交”即可完成服务配置。
# 多表模型配置
1) 第一步配置服务基本信息,填写服务名称、服务编码、所属系统、所属部门等信息。其中服务编码会作为后续服务的唯一标识,在服务地址中区分不同服务的信息,因此只能够填写英文/数字,并且不能重复。 2) 第二步“选择模型”,用户选择开发服务相关的模型信息,可以选择多个。 3) 当选择多个模型发布服务时,进入模型关系配置页面。 4) 点击下一步进入输入参数配置页面,选择可以作为输入参数字段,并且可以设置输入参数是否必填以及相应的加密策略。输入参数配置加密策略后,用户调用接口是入参需要按照所选择的规则进行加密后才能够正常访问服务。 配置完成后点击下一步进入输出参数配置页面。 【参数名称】:服务调用时入参变量名称 【参数说明】:服务调用时入参变量备注 【是否必填】:调用接口是必须传入该参数并且不能为空,否则调用失败。主要用于限制条件查询的场景,例如使用身份证信息查询个人信息接口。 【加密规则】:传入时对输入参数值进行加密,保证通讯过程中的数据安全。默认提供BASE64的加密算法,支持项目自定义扩展。 5) 在输出参数配置页面,用户可以配置服务的返回值字段,并且设置输出参数的加密脱敏规则。配置完成后点击“提交”即可完成服务配置。
# 结果集服务配置
1) 第一步配置服务基本信息,填写服务名称、服务编码、所属系统、所属部门等信息。其中服务编码会作为后续服务的唯一标识,在服务地址中区分不同服务的信息,因此只能够填写英文/数字,并且不能重复。 2) 按照配置说明选择数据源并配置sql语句,点击“测试”按钮测试sql是否正常执行。执行成功后页面会显示测试结果样例(取前10条),如果测试失败则提示原因。 3) 测试通过后点击下一步配置输入参数。结果集服务的输入参数由用户手动配置。用户可以根据返回值的情况自由配置输入参数。 4) 最后一步配置输出参数,系统会根据sql的测试结果展示所有返回值的情况,用户可以选择返回字段进行结果过滤,也可以配置输出字段的加密脱敏规则。此处配置与模型服务相同。配置完成后点击“提交”按钮即可完成服务配置。
# 编辑服务
PS:仅对于“创建”状态和“预发布”状态的服务可以进行编辑操作。并且在编辑时不能修改模型或者修改sql,如果遇到模型或者sql的修改,则直接删除当前服务重新配置即可。
1) 在服务列表中找到需要编辑的服务,点击操作栏中的“编辑”按钮就可以对服务参数进行调整。 2) 调整服务的基本信息、输入输出参数后,点击“提交”按钮即可完成编辑操作。具体配置见新增章节。
# 删除服务
PS:任何阶段的服务都可以被删除,已发布后的服务将服务被调用,请在删除前确认当前服务是否已经被使用并谨慎操作。
在“服务列表”中找到需要删除的服务,在操作栏中点击“删除”按钮,根据提示点击“确认”后完成删除操作。
# 预发布服务
PS:仅对于“创建”状态的服务进行预发布操作。
1) 在服务列表中找到需要预发布的服务,点击操作栏中的“预发布”按钮就可以对服务参数进行调整。 2) 在预发布页面中需要选择服务对应的数据源信息,左键点击数据源后按照弹出框指示点击“确认”按钮即可完成预发布操作。
# 修改预发布数据源
PS:仅对于“预发布”或“发布”状态的服务进行修改数据源操作。一般用于服务测试时数据源选择错误导致服务无法测试时使用。
1) 在服务列表中找到需要预发布的服务,点击操作栏中的“预发布修改数据源”按钮就可以对服务参数进行调整。 2) 在预发布页面中需要选择服务对应的数据源信息,左键点击数据源后按照弹出框指示点击“确认”按钮即可完成预发布操作。
# 发布服务
PS:仅对于“预发布”状态的服务进行发布操作。发布后的服务就不能再进行编辑修改操作。
1) 在服务列表中找到需要发布的服务,点击操作栏中的“发布”按钮就可以对服务参数进行调整。
2) 在发布页面中需要选择服务对应的数据源信息,左键点击数据源后按照弹出框指示点击“确认”按钮即可完成预发布操作。
# 授权服务
PS:仅对于“预发布”或者“发布”状态的服务进行服务授权。发布后的服务就不能再进行编辑修改操作。
1)在服务列表中找到需要授权的服务,点击操作栏中的“服务授权”按钮就可以对服务参数进行调整。
2)在授权页面中先配置授权基本信息。
3)配置服务的输入参数,和新政服务相同。
4)配置服务的输出参数,和新政服务相同。
5) 在服务授权时,可以配置服务的行权限过滤。用于对于返回值增加过滤条件。配置完成后点击“提交”按钮即可完成授权操作。
# 服务授权
在服务授权支持用户查看已有的授权记录,并支持授权记录做编辑、停用、删除及下载接口调用说明文档等操作。 编辑时可以修改授权内容,包括对于入参、出参相关配置的调整。 停用则是终止当前授权的服务调用,用户可以通过页面操作重新启用。 删除则是直接删除授权记录,用户无法重新通过授权码访问服务。
# 服务版本
服务版本中提供了历史已发布的服务信息查询的功能,并且支持用户对于已发布服务创建新版本,创建后可以在服务开发中进行服务开发调整。
# 服务版本查看
# 创建新版本
1) 点击操作栏中的“创建新版本”,正常创建后页面提示“创建成功”。 2) 在“服务开发”的服务列表中可以看到创建的新版本记录,用户可以重新编辑服务并再次发布。 3) 对于新版本服务重新授权后,用户通过新的授权码就能在服务地址不发生变化的情况下调用新版本的接口。老版本接口的授权调用不受影响。
# 服务监控
# 服务引擎监控
引警监控是针对于服务引擎进行监控,用户可以在监控列表中查看所有已经注册上线的服务引擎,并且对于引擎的 ivm,参数、运行状态进行查看。
# 服务调用日志
服务引擎记录了所有服务调用的日志信息,默认存放在服务引擎logs目录下的api.log文件。 目前记录的内容包括服务调用信息(调用时间、调用地址、调用服务名称、调用服务ID)、授权方信息(授权账号、授权部门、授权应用等),目前出于安全考虑,日志中不包含服务的调用的具体入参和出参信息。
用户可以用通过filebeat+logstash采集服务日志并将服务信息存入elasticsearch。 以下配置可作为参考,可以根据实际情况调整。配置中是通过filebeat直接往logstash推送日志数据,如果考虑高并发场景,可以引入kafka,实现filebeat->kafka->logstash->elasticsearch的日志采集链路。
filebeat模版:
filebeat.inputs:
- type: log
paths: ['/opt/dataEngine/logs/api.log*']
encoding: UTF-8
fields:
log-type: api-log
tags: ['api-log']
exclude_files: ['.gz$']
json.keys_under_root: true
json.add_error_key: true
json.overwrite_keys: true
output:
logstash:
hosts: ['127.0.0.1:5044']
logstash配置文件:
input {
beats {
port => 5044
}
}
filter {
date {
match => [ "time", "UNIX_MS" ]
locale => "cn"
timezone => "Asia/Shanghai"
target => "covert-time"
}
# calculate time UTC + 8h -> Asia/Shanghai
ruby {
code => "event.set('covert-time', event.get('covert-time').time.localtime + 8*60*60)"
}
mutate {
convert => ["covert-time", "string"]
}
# -----
# replace logstash @timestamp with log timestamp, and output.elasticsearch create index use this time
# -----
date {
match => [ "covert-time", "YYYY-MM-dd'T'HH:mm:ss.SSSZ", "ISO8601" ]
locale => "cn"
timezone => "Asia/Shanghai"
}
}
output {
elasticsearch {
hosts => ["127.0.0.1:9200"]
# 默认按天创建index,例如api-log-2023.01.03
index => "%{[fields][log-type]}-%{+YYYY.MM.dd}"
document_type => "log"
}
}
服务日志数据格式如下:
{
"_index": "api-log-2023.01.03",
"_type": "QV6ouIUBRRLTd81_lFnE",
"_id": "wu__tYYBGYJzibDjTZJC",
"_score": 1.0,
"_source": {
"tags": [
"api-log",
"beats_input_raw_event"
],
"ok": true,
"time": 1672733243440,
"@version": "1",
"covert-time": "2023-01-03T16:07:23.440Z",//调用时间
"ecs": {
"version": "1.0.0"
},
"path": "/api/sql-services/Test22/query",//调用服务地址
"method": "POST",
"pattern": "/api/sql-services/{id}/query",
"input": {
"type": "log"
},
"name": "RCM_TEST",//调用服务名称
"fields": {
"log-type": "api-log"
},
"agent": {
"version": "7.0.0",
"id": "ac7dfc12-cae7-41db-8ed5-48ff522f8e83",
"ephemeral_id": "32707110-c4a0-447f-bcaa-e2f7bda0d052",
"hostname": "localhost.localdomain",
"type": "filebeat"
},
"log": {
"offset": 245,
"file": {
"path": "/opt/ems/server/dataEngine/logs/api.log"
}
},
"host": {
"name": "localhost.localdomain"
},
"client": "acba7b4446184eeeb8550b9569538abe",//授权账号
"org": "",//授权部门
"serviceId": "Test22",//调用服务ID
"elapsed": 98,
"app": ""//授权应用
}
}