《中国移动省级NG1BASS2‘0规范培训元数据管理分册.ppt》由会员分享，可在线阅读，更多相关《中国移动省级NG1BASS2‘0规范培训元数据管理分册.ppt（29页珍藏版）》请在三一办公上搜索。
1、中国移动省级NG1-BASS2.0规范培训-元数据管理分册2023年3月4日星期六,目 录,修订背景、目标与思路,背景：经过NG1-BASS1.0元数据管理模块的建设，各省在元数据管理和应用方面积累了一些具有推广价值的经验，同时也发现了一些存在问题；业务发展对经营分析系统提出新的要求，元数据需要对业务应用提供支持；数据规模增长、内部结构日益复杂，需要加强数据质量管理和资源优化；经营分析系统的企业数据进一步集中和应用范围扩大，对数据安全提出更高要求。目标：元数据服务封装标准化；建立元数据的辅助数据安全管理能力；挖掘元数据对经营分析系统开发运维管理和业务应用的支持能力；提升元数据自身质量。思路：通
2、过元数据服务封装，提升元数据对经营分析系统各功能模块的服务能力；建立数据敏感度元数据的管理和服务支持；挖掘元数据对开发管理、数据质量管理、资源优化和业务应用等方面的支持能力；加强元数据自动获取能力，改进元数据变更管理流程的系统功能支持，以进一步提升元数据质量。,目 录,元数据管理模块在经营分析系统中的定位,元数据管理范畴,经营分析系统的元数据分为技术元数据、业务元数据和管理元数据三类，分别支持经营分析系统各层的技术活动、业务活动和管理活动。,本期修订内容,数据安全管理（重点）辅助应用优化业务术语自助学习自动获取管理TCL脚本自动解析,本期修改内容,本期新增内容,元数据服务接口（重点）基于元数据
3、的开发管理 数据质量管理指标库管理SQL脚本自动解析,目 录,元数据获取层,元数据获取层划分自动获取和手工获取两种元数据获取方式元数据自动获取修订内容：新增自动获取管理功能和TCL脚本自动解析功能细化SQL脚本自动解析功能要求,元数据获取方式,元数据自动获取通过工具提供的接口自动获取元数据通过SQL脚本解析、TCL脚本解析获取元数据元数据手工获取手工整理并录入元数据,自动获取为了加强对元数据自动获取的管理，确保满足时效性和获取质量方面的要求，元数据管理模块需要提供元数据自动获取管理的功能支持。,元数据自动获取管理,元数据自动获取管理,元数据自动获取数据源管理,元数据自动获取能力管理,元数据自动
4、获取任务调度管理,元数据生成和入库策略管理,元数据自动处理过程和相关日志管理,元数据获取数据源变更,元数据自动获取,元数据入库,增强SQL自动解析获取元数据的能力,根据NG1-BASS实施经验，细化SQL自动解析在数据处理日志生成、SQL解析处理和数据处理元数据生成三个环节的要求，以增强SQL自动解析获取元数据的能力。,数据处理日志的生成要求,数据处理日志采用日志文件和日志表两种存储方式分别对两种方式的日志内容和格式明确具体要求,数据处理元数据的4级描述方式,第一级：数据处理过程,第二级：SQL语句,第三级：转换处理逻辑,第四级：转换处理逻辑明细,TCL脚本自动解析,TCL脚本自动解析是SQL
5、脚本自动解析的补充方案TCL脚本自动解析方案的优点：对数据处理日志的生成和日志格式没有任何要求TCL脚本程序修改后，可以立即对其进行解析并更新元数据，不需要等待该程序被调用执行并生成日志能够直接遍历TCL脚本程序的每个分支，一次性获取各个分支的数据处理元数据,元数据存储,细化对业务指标和维度数据的元数据存储内容，加强对指标库管理和应用的支持细化对数据处理过程的元数据存储内容，明确SQL脚本自动解析的数据处理元数据生成要求细化数据质量元数据存储内容，加强对数据质量管理的支持增加数据敏感度的元数据存储内容，对数据安全管理提供支持,元数据功能层,明确元数据质量管理的功能要求细化元数据属性检查、元数据
6、关系健全性检查的功能要求新增元数据一致性检查的功能要求明确元数据服务封装要求基于REST风格的元数据服务访问接口,元数据一致性检查,元数据一致性检查是指检查元数据库中的元数据与经营分析系统的当前状态是否保持一致可分为人工检查和自动检查两种方式可从以下几个方面进行检查：元数据实体匹配情况元数据属性匹配情况元数据关系匹配情况,元数据服务接口,元数据服务接口划分内部交互接口和外部交互接口采用XMI接口作为内部交互接口方式采用REST风格的Web服务接口作为外部交互接口方式,元数据服务封装原语,请求消息体结构,请求XML文档结构,应答消息体结构,应答XML文档结构,URI与元数据映射关系,REST风格
7、的Web服务通过标准的HTTP方法和URI进行调用对于GET请求，若指定元数据标识，调用的示例如下所示：GET http:/http:/http:/,元数据应用层,细化以下三个模块的功能要求：基于元数据的开发管理数据质量管理指标库管理新增以下三个模块：业务属于自助学习辅助应用优化辅助安全管理,数据安全管理功能结构,数据敏感度,元数据管理,辅助应用优化,应用点击率和反馈意见收集,元数据库,经营分析门户,应用点击记录、应用反馈意见,应用和数据实体优化分析,应用优化建议,业务人员,开发运维人员,元数据管理,业务术语自助学习,指标,维度,报表,应用服务,本地自助学习,在线自助学习,业务术语,反馈意见、讨论内容,经营分析门户,元数据库,元数据管理,开发过程,基于元数据的开发管理,在前期建设的基础上，落实以下内容的开发管理：接口文件数据库对象元数据管理模块需要在经营分析系统开发管理中发挥如下作用：辅助开发过程协同经营分析系统变更分析数据库变更部署,需求分析,设计,开发,测试,上线,元数据变更管理流程,接口文件、数据库对象信息查询影响分析、血统分析,元数据库,接口文件、数据库对象变更申请,辅助开发过程协同、变更分析和数据库变更部署,元数据变更流程管理,谢谢！,
