元数据管理模块方案.docx

《元数据管理模块方案.docx》由会员分享，可在线阅读，更多相关《元数据管理模块方案.docx（16页珍藏版）》请在三一办公上搜索。

1、目录1. 现状分析21.1目前的困境31.2什么是元数据管理32. 目标分析42.1建立完善的指标解释体系42.2建立规的元数据管理体系42.3建立有效的数据稽核体系53. 功能概述53.1元数据管理53.1.1业务元数据63.2.2技术元数据73.3元数据分析113.3.1血统分析113.3.2影响分析123.3.3重要性分析133.3.4无关性分析143.4数据稽核143.4.1稽核规那么管理153.4.2稽核任务调度163.4.3稽核结果分析163.4.4数据质量评估163.4.5数据问题管理16元数据管理系统概述1. 现状分析随着经营分析系统规模不断扩大，系统所积累数据量也越来越大，收

2、集到的 海量数据背后隐藏着大量珍贵重要的信息，但也同时提高了系统的数据管理难 度：一面难以对这些数据进展有效解释，缺乏对业务流程执行的实时监控和管理; 另一面各部门数据与数据整合的难度也不断加大，影响到了经营分析系统中的数 据质量。如对现有数据进展深层开掘，并提醒出埋藏在元数据中的趋势、因果关系、 关联模式等核心信息？这是下一步深化经营分析系统应用的电信运营商需要解 决的头等大事。构建BI，首先要保证的是数据质量。元数据管理解决的问题就 是如把业务系统中的数据分门别类地进展管理，并建立数据与数据之间的关系， 为数据仓库的数据质量监控提供根底素材。1.1目前的困境使用者（决策层、业务分析人员）：

3、1）经营分析系统中存在有很多报表，不同报表中存在一些一样的指标，这 些指标往往不一致，给业务分析和决策工作造成很多困惑，必须花费很大的 精力去检查核实。2）对于很多指标，不清楚其具体含义，不清楚其反映的问题，不清楚其具 体算法和来龙去脉。数据仓库工程开发维护者：1）不同报表中的同一指标不一致，必须花费很大的精力去检查，目前根本 上是通过手工检查表和存储过程的式，效率较低。2）没有完善的开发、维护规。比方，新增一分析报表，开发人员根据业务 人员的需求制作完成之后，往往没有整理完善才目应的数据指标解释和元数据 管理，造成日后检查困难。3）开发、维护规的执行力较低，没有行之有效的管控手段。不格按照规

4、执 行，随着工程的开展和时间的推移，导致数据仓库工程的强健性和可维护性 呈几级数下降，给数据仓库的建立带来大量的重复工作。1.2什么是元数据管理元数据最本质，最抽象的定义为：data about data （关于数据的数据）。而 对于经营分析数据仓库而言，形象的定义为：元数据就是数据仓库的规。这 些规包括对各种指标的定义、解释；包括对各表中数据的来龙去脉、数据的大小和格式的定义。元数据管理，就是要建立一套行之有效的规以及该规的管控体系，实现 从管理到查询到综合分析的全面管控，管理层次从接口到ETL处理、业务 逻辑处理、结果展现处理和指标分析的面面，构成数据仓库应用系统的核心 和根底。做到开发者

5、能格遵守规，维护者和使用者有规可查，有力的保障数 据仓库工程的强健性和可维护性。2. 目标分析要走出目前的困境，有下面三个面的问题急待解决：2.1建立完善的指标解释体系满足用户对业务和数据理解的需求，建立标准的企业部知识传承的信息 承载平台，建立业务分析知识库，实现知识共享。能够答复诸如以下问题：什么是出帐用户数？在网用户数和网上用户数有区别？什么是套餐的生命期？竞争对手新开展用户数是怎么得来的？这个数据还叫什么名字？2.2建立规的元数据管理体系让用户能够清晰的了解数据仓库中数据流的来龙去脉，业务处理规那么、开展情况等，提高系统的可维护性、适应性和集成性，支持数据仓库/集市的成长需求，减少因员

6、工换岗造成的影响。具体来讲，主要是对数据仓库建立、运行和维护的规的管理。能够答复诸如以下的问题：哪表是从业务系统抽取过来的原始话单表？竞争对手新开展用户事实表中的数据，是从哪些表汇总计算出来的？DW用户下的P_XXX 这个存储过程是谁写的，现在还有用吗？我是新手，要生成套餐生命期演化分析事实表，我该怎么做？表空间不够了，哪些表的数据可以删掉？2.3建立有效的数据稽核体系促进数据仓库的数据质量建立，为提高整个系统的数据质量奠定坚实的 根底。建立报警、监控机制，出现故障，能及时发现问题。提供整体系统运 营的情况分析。能够答复诸如以下问题：今天的出帐用户数过高，是怎么回事？数据集市层中的DM_XXX

7、表中数据为空，什么原因？A报表中的全省ARPU值和B报表中的ARPU值为什么不同？3. 功能概述3.1元数据管理对数据仓库的层次构造、主题域划分，各层的各种对象，如表、存储过 程、索引、数据链、函数和包等的管理。能够清晰的展现各层次构造之间的数据流程，图形化展现各对象之间的关系，展现表中数据的来龙去脉。3.1.1业务元数据业务元数据包括以下信息：使用者的业务术语所表达的数据模型、对象 名和属性名；访问数据的原那么和数据来源；系统所提供的分析法及公式、 报表信息。业务元数据管理除了管理上述信息外，还提供对业务元数据来源的管理 和差异性比照功能，使用户能够便的查询、比较和追溯。包括两个子模块，指标

8、管理和指标解释接口。指标管理：主要实现对所有指标的维护功能，维护指标的根本信息、业 务规那么和技术算法等。能够展现各个主题分析中的指标，以及指标间的区 别等信息。7T娜成 -*：RMa：FMT己竦始海寸辛田田度归类氏说明聂血,u日4苴心F十一高房4茉序号指标e裁舂名桁计量单位：类型1EDI.澄.席月尸数估律一时理2ED2元3FIT时点薮4ED4个时百数富标届性ED3移动电话若裘率猊计牡云怒:才皂诂用H貌占场厂工更内.土 -1更E比削,SELECT * FROM BF_GSM_CALL_THMBF时.与期计垦部无由建咕间?T7年m 目73|肌母部门计费部指标全变社索|翊1旧号标修改街夸| |F阕

9、的指标解释接口 ：提供统一的接口，使用户能够在经营分析系统或CRM 系统中，点击任一指标名称，即可查看该指标的详细描述和解释说明。经营分析系统联机帮助失用户数上月出帐本月不出帏的用户数3.2.2技术元数据技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管 理数据仓库的数据，主要包括数据仓库构造的描述各个主题的定义，星型 模式或雪花型模式的描述定义等、ODS层操作数据存储ODS .Operation Data Storage）的企业数据模型描述以描述关系表及其关联关系为形式、对 数据稽核规那么的定义、数据集市定义描述与装载描述包括Cube的维度、 层次、度量以及相应事实表、概要表的抽

10、取规那么。系统除了维护技术员数据的根本信息外，更以图形的式展现和管理各技 术元数据之间的关联关系和来源。技术元数据管理主要包括以下几个功能模块：元数据查询：按关键字、分类、主题域名称等维度进展查询，展现该元 数据的根本信息，如业务描述、技术描述、计量单位、所属分类等信息。元数据维护：对元数据的根本信息进展维护，包括增、删、改。元数据指标-五序CRIJ二孩二J专用正&营分析正式库+ UL日3营分折测试库4 -J： M-J-M.O-E-JJSS元数供名薪BF_GSM_CALL_T元数或类型表元敬挥屈性hP：03：4别名Lt叶LL月哥比半II辛制!.指妹计期内G网所有用户技术岩注适用范围SELECT

11、 FROMB F_6S M_CALLTH NB F计土单位73创建时同所剧部门、U7叶LI F月-J =市场& vW南元数据关系查询：展现元数据之间的关系，如：按经营分析数据仓库的 各个层次进展展现；按元数据之间的映射关系展现；按元数据的处理流程进 展展现等等。直击诞棒,奔出元华.据噂界面.诛行科浦光困全部无晰揶：出幌口数I【邮奁由:.BF_GSk_C4LL_T_2 CGC2韦据权艰苦制，鼠场占谗点主 某正数据节.，位.人谚元数据 眩戈泵格畀面，上其与其他 壬数据之回的关系击行增明政 耕。E3A_. F3V_0FPC.E： iI_MO 31 LE_： .C.EEA_J F. DM_OPPDHE

12、 J4T_CfC_MCM点吉泵元数括节点，展彩上该元 敏据TIK.系ttk元数据关系管理：对元数据关系进展维护，包括增加、删除和修改。元数据舞型：全部出帖用户触元数据名称：皿】I=Zb*mtt Br 3SK-_CALL_T_Z5Myr &V_PF CE_M08HE_M0N根据枳隐控制雇标右键点击 幕元数掂15点，进&谒元数据 的美圣越护折面,别苏与其他 元救据/向的美奈进钉增捌改 操作.博耻拔节点删除该节点修改元数据信息点击某无数帝节点，度现设元 数据的关系囹-七二 T=ETEJF.Vt=，faclvpuber措程：出赣用户数如上图所示，鼠标右键点击某个节点，对该节点进展增、删、改操作。口m诜

13、兰替hi元mi选喧昇面,.竹诡市.五以出稼用尸敬心I查询瞄加云救崩节占上耘来屉型：上爆来源：出帷用户数1世挥1增切 顺来原说明：XCPPChEMTLNCNWi压竺t革订滋根节,拚孔右廿甥卷混存职消点击E选择，弹出元数据选择界面进门精确世名称：|由帏用户数| 选择!查词吒,顾确定要删除y点吗?邱媚3.3元数据分析血统分析、影响分析、表重要程度分析、表无关程度分析等等。通过上 述分析，让用户对整个数据仓库总体上有清晰的认识和理解，解决数据孤岛 的问题。3.3.1血统分析数据血统一DataLineage,通过数据血统分析，用户可以知道数据时更新、 如计算以及从处而来，所有这些手段帮助用户追溯报表中数

14、据产生的来源。 这种深入洞查数据来龙去脉的能力对于帮助用户更加信赖他们的信息来说， 具有至关重要的作用。3.3.2影响分析影响分析关注的重点是数据的流向，提供端对端影响分析，使您能够看 见源系统发生变化时，BI报表受到的影响，而因此可以轻松地处理BI环境 中的变化。移动用户话务信息表处理大客户信息竞争专题 大客户明细前端展现专题分析模块I竞争专题 用户分析竞争专题 策反高层决策 市场分析目标元数据对象高层决策 竞争对手3.3.3重要性分析分析BI系统中，用户最关心的分析主题、报表和指标，追溯这些分析 主题、报表和指标涉及到的元数据，这对于BI系统和数据仓库开发团队具 有重要的指导意义。占人瞿面

15、向织学居确映第支持2459产匡y攵己f 1匕弭.三*拙时口2442独折泵璧的.殳雇榔括2334.话世监控分析与日用业多话职目美的数誓145& I :吸.心矽m e I 基 士王茶分析各元数据对象之间的关联密集度，分析数据仓库中各层次的包、表 等对象的重要程度，指导数据仓库开发和维护团队对重点元数据进展重点关注和质量监控。二 L _ _移动新入网田户互通话务信息1移动大竺3.3.4无关性分析与重要性分析相反，随着数据仓库系统的规模不断扩大，业务需求的日 益变化，会产生一定数量的无关数据、信息和报表，找出这些无关的容，结 合业务需求分析其产生的根源，从而为用户简化工作负载，降低工程总拥有 本钱，为

16、用户提供可信赖的数据和分析能力。报表无关程度报表名称葬述关注度（人次渠道明细日报面向领导房面的决策支持0自定曳套餐日报分析政策与市场对品梅发展的战略影响2产品群分析分析渠道的发展和收益3基站话务量jf分析与日常业蓉运营相关的数据7点击报表名称，可查看该报表 涉及到的相关数宠来源分析。3.4数据稽核根据预先配置的规那么、算法和质量检查度量，对数据的准确性、合理 性等多角度的检查，以及时发现问题，解决问题。对于稽核结果，进展统计分析，形成结果报告，为以后的数据仓库建立、实施和维护的改进打下坚实的根底。3.4.1稽核规那么管理接口数据检验：对接口数据的过程进展稽核和校验，分为文件接口， DB-LIN

17、K接口，其他异构数据库接口。处理过程检验：对数据处理过程进展监控和稽核，分为JOB稽核，工 作流稽核，其他处理式稽核等。处理环境检验：对数据处理环境进展检查，针对不同的应用环境，主要 分为数据库系统检查、主机系统检查、接口机检查、应用效劳器检查。日志监控：在ETL自动运行的过程中可能出现各种各样的错误，比方 ETL过程申请的资源超过硬件的物理限制存储缺乏或者排序空间缺乏。 通过检测ETL过程的日志可以判断出该过程输出的目标表数据是否完整。 提供选择日志监控的各种信息供选择，如：过程名、所属模块营业数据、 计费数据、维表数据等、执行时间、完成时间、执行时长、执行用户、执 行结果、预警等。维度检验

18、：如：所属模块营业数据、计费数据、维表数据等、日期、 表名、维度名称、纬度格式、纬度说明、纬度关联编码表、各纬度记录分布 情况、是否有空值、空值记录数、空值率、预警区间等指标。指标值检验：包括数据量校验、单指标校验、穿插校验等。3.4.2稽核任务调度在设定数据稽核的模板后，可以对稽核任务实行自动化处理，也可以通 过定制式来完成，可以定时调用或触发。由不同类型数据检验确定。比方：前序数据计费营帐数据，可以使用定时调度任务检查数据完 整性，后序数据DW层数据直到数据集市展示层的汇总数据的调用可以 通过日志记录触发开场，每个表记录完成后如果日志检测执行正确，那么进 展进一步的数据稽核检测。3.4.3稽核结果分析对于稽核的结果，进展统计分析，答复经典的“4W”问题：该报表是 否异常、该报表在哪里发生、该报表什么时候发生异常和为什么该报表会发 生异常？3.4.4数据质量评估对数据稽核结果及导致该结果的原因进展统计分析，评估数据仓库维护 和管理工作的质量，这对于数据仓库的开发和维护具有重要的指导意义。3.4.5数据问题管理对系统使用者或数据仓库开发者遇到的问题及解决案，进展收集和整 理，形成知识库，便于用户咨询，同时也提高开发团队的效率，防止很多重 复工作。