数据仓库开发模型ppt课件.ppt

《数据仓库开发模型ppt课件.ppt》由会员分享，可在线阅读，更多相关《数据仓库开发模型ppt课件.ppt（50页珍藏版）》请在三一办公上搜索。

1、第二章 数据仓库开发模型,在创建数据仓库之时，需要使用各种数据模型对数据仓库进行描述。数据仓库的开发人员依据这些数据模型，才能开发出一个满足用户需求的数据仓库。使开发人员能够将注意力集中在数据仓库开发的主要部分。模型有更好的适应性，更易于修改。当用户的需求改变时，仅对模型做出相应的变化就能反映这个改变。,2.1数据仓库开发模型 2.2数据仓库概念模型2.3数据仓库逻辑模型 2.4数据仓库的物理模型 2.5数据仓库的元数据模型 2.6数据仓库的粒度和聚集模型,目 录,2.1 数据仓库开发模型,模型是对现实世界进行抽象的工具。在信息管理中需要将现实世界的事物及其有关特征转换为信息世界的数据才能对信

2、息进行处理与管理，这就需要依靠数据模型作为这种转换的桥梁。这种转换一般需要经历从现实到概念模型，从概念模型到逻辑模型，从逻辑模型到物理模型的转换过程。,数据仓库的开发过程,概念模型,逻辑模型,物理模型,现实世界,第一级抽象,第二级抽象,第三级抽象,四个世界三级抽象,数据仓库的设计就是在概念模型、逻辑模型和物理模型的依次转换过程中实现的。作为数据仓库的灵魂元数据模型则自始至终伴随着数据仓库的开发、实施与使用。数据粒度和聚集模型也在数据仓库的创建中发挥着指导的作用，指导着数据仓库的具体实现。,数据仓库的数据模型,2.2 数据仓库概念模型,财务部门销售收入账应收账应付账成本账,销售部门销售计划销售合

3、同销售统计,人事部门员工业绩记录员工技能情况员工薪酬表,企业数据模型,销售部门,人事部门,财务部门,企业数据模型,2.2.1 概念数据模型,数据仓库概念模型的设计可以使用业务数据处理系统中的E-R图，但两者有一些差距。 数据仓库的数据模型中不包含操作型的数据，数据仓库的数据模型只包含用户所感兴趣的分析数据、描述数据和细节数据。 数据仓库的数据模型扩充了关键字结构，增加了时间属性作为关键字的一部分。 数据仓库的数据模型中还增加了一些由基本数据所导出的衍生数据，这些导出的衍生数据主要用于对企业的管理决策进行分析 。,2.2.1 概念数据模型,2.2.1 概念数据模型,数据传统的E-R图不能直接用于

4、数据仓库的概念模型的设计，只能对其中的元素作修改后使用。将实体分成：指标实体（事实实体）、维度实体和详细类别实体（引用实体）。,指标实体（事实实体）,指标实体名,维度实体名,详细类别实体名,维度实体,详细类别实体（引用实体）,指标实体：现实世界中的业务处理或某一事件的逻辑表示。是数据仓库中的实体表。对指标实体数据的管理是数据仓库管理的重点。维度实体：可以形成一个维度体系，具备访问和过滤指标实体的能力。是数据仓库中的较小的表。详细类别实体：与现实世界中的某一个实体相对应。它具有终止操作的作用。用户通过维度实体得到指标实体数据，而在操作到详细类别实体时停止操作。,2.2.2 规范的数据模型,第一范

5、式、第二范式、第三范式数据仓库的反规范化处理，将小表合并，以减少多表查询时的表的连接操作。,2.2.2 规范的数据模型,数据仓库中的各个实体不是对等的，在建立实体时，需要根据载入数据实体的数据量来考虑数据仓库中数据的结构设计。,2.2.3 星型模型,星型模型是最常用的数据仓库设计结构的实现模式。使数据仓库形成了一个集成系统，为用户提供分析服务对象。 核心是事实表，围绕事实表的是维度表。通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。,2.2.3 星型模型,事实表：包含主题。维度表：包含事实的非正规化描述。星型模型可以采用关系型数据库结构。维度表中的对象通过事实表与另一维度表

6、中的对象相关。通过事实表将多个维度表进行关联，就能建立各个维度表对象之间的联系。每一个维度表通过一个主键与事实表进行连接。维度表利用维度关键字通过事实表中的外键约束于事实表中的某一行。事实表中的外键不得为空。,2.2.4 雪花模型,星雪花模型是对星型模型的扩展，每一个维度都可以向外连接到多个详细类别表。雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。,2.3 数据仓库逻辑模型,逻辑模型亦称为中间层数据模型，它是对高层概念模型的细分，在高层模型中所标识的每个主题域或指标实体都需要与一个逻辑模型相对应。,高层概念模型与中层逻辑模型的对应关系,逻辑模型的基本结构,基本数

7、据组：存有唯一的主要主题域，包含只出现一次属性和键。二级数据组：存有可以存在多次的属性。联接数据组：用于本组主要主题域与其他主要主题域之间的联系。它往往是一个主题的公共码主键。类型数据组：数据的类型。由不同数据组组成。一般可以分为超类型数据组合子类型数据组。除联接数据组外的三种数据组的划分都基于数据的不同稳定性。基本数据组的稳定性大于二级数据组，而二级数据组的稳定性大于类型数据组。,某超市企业用户的逻辑模型,2.3.1 事实表模型设计,事实表：包含数据仓库中的大量的基本业务详细信息。客户事实表客户基本情况表（账号Integer9，姓名Character12，出生地Character20，初次交

8、易时间Date，）客户变动情况表（账号Integer9，省Character20，县Character20，街道Character20，邮政编码Character6， ）事实表中的事实特性事实表中一般包含两部分，一是由主键和外键所组成的键部分，另一是用户希望在数据仓库中所了解的数值指标，称为事实或指标。事实表中的事实有两种：基本事实和派生事实。派生事实主要有两种，一是可以用同一事实表中其他事实计算得到，一般不保留在事实表中；还有一类派生事实是非加法性事实，一般要将它转移到维度表中。,2.3.2 维模型设计,事实设计维度表的目的：把参考事实表的数据放置在一个单独的表中。最常用的维度表数据应该直接

9、参考事实表，而不是通过其他维度表间接参考事实表。客户主题维度表模型：时间维度表（年Date，月Date，日Date）地点维度表（省Character20，市Character20，县Character20，街道Character20）,2.4 数据仓库的物理模型,2.4.1 数据仓库物理模型的存储结构,确定数据的存储结构并行存储结构RAID ( Redundant Array of Inexpensive Disk，廉价冗余磁盘阵列)。主要采用以下技术： 磁盘镜像 磁盘复制 奇偶校验 磁盘分段RAID实现原理：将数据写入多张磁盘中，如果一张磁盘发生故障，可以从其他存放冗余数据的磁盘上访问数据。

10、,1. 位图索引：索引中的每个位对应表中一条记录的布尔测试值。,2.4.2 数据仓库物理模型的索引构建,1.位图索引：索引中的每个位对应表中一条记录的布尔测试值。,2.4.2 数据仓库物理模型的索引构建,确定某些统计可以通过索引进行，而不需读取数据记录本身。如统计女性客户数。检索满足某种条件记录时，可以通过索引筛选出满足条件的记录，再读取相应的数据记录，而不需读取不满足条件的记录。对于值域大于2的列，需要为每个值建索引。若上海市索引及北京市索引。一般考虑基数较低的列为其建位图索引。有些列是无法建位图索引的。如身份证列。可以对位图索引使用布尔运算，来实现更为复杂的选择条件。,2.4.2 数据仓库

11、物理模型的索引构建,2.4.2 数据仓库物理模型的索引构建,2. 广义索引,广义索引是指在向数据仓库中装载数据时，根据用户的需要建立的索引。广义索引的内容一般包含用户最关心、最常使用的问题。如有关销售事实的商品总量、销售总金额等。每次向数据仓库装载数据时，就重新生成广义索引的内容。广义索引一般以元数据方式存放。,2.4.2 数据仓库物理模型的索引构建,3. 连接索引,连接索引是将事实表和维表中的索引项进行连接运算后，将结果作为索引保留下来。当需要将事实表和维表进行连接运算时，可以直接利用连接索引进行连接运算。连接索引可以根据需要设立，不一定对全部外键设立。,连接索引A,agelevel_id,

12、time_idyear_idmonth_id,geo_idprov_idcity_idcounty_id,produ_id,agelevel_id time_idgeo_idprodu_idamou_mone,agelevel_id time_idyear_idmonth_idgeo_idprov_idcity_idcounty_idprodu_idamou_mone,agelevel_id time_idgeo_idprodu_id,全连接结果,time_idgeo_id,连接索引B,连接索引图,2.4.2 数据仓库物理模型的索引构建,4. 索引的选择,主键必须建立索引。不要求必须对外键设置

13、连接索引，但如果表很大，数据很多，外键应该设置连接索引。在对数据仓库使用SQL语句操作时，WHERE字句中所指定的列可以考虑为其建立索引。但要考虑其基数。,2.4.3 数据仓库物理模型的优化问题,物理模型设计的另一个内容：提高数据仓库的I/O性能。合并表：当对涉及几个表的某些列的查询具有固定性时，可以将这些表的记录合并起来以减少连接操作的代价。建立数据序列：当按照某一固定的顺序访问并处理一组数据记录时，可以将数据按照处理顺序存放到连续的物理块中，形成数据序列。 引入冗余：一些表的某些属性可能在许多地方都要用到，将这些属性复制到多个主题中，可以减少处理时存取表的个数。 表的物理分割：每个主题中的

14、各个属性存取频率是不同的。将一张表按各属性被存取的频率分成两个或多个表，将具有相似访问频率的数据组织在一起。 生成派出数据：在原始数据的基础上进行总结或计算，生成派出数据，可以在应用中直接使用这些派出数据，减少I/O次数，免去计算或汇总步骤，在更高级别上建立了公用数据源，避免了不同用户重复计算可能产生的偏差。,2.5 数据仓库的元数据模型,2.5.1 元数据的类型与组成,元数据是数据的数据，是对数据仓库中的各种数据的详细的描述与说明。根据元数据在数据仓库中所承担的任务，可以将元数据分成静态元数据和动态元数据两类。静态元数据主要与数据结构有关；动态元数据主要与数据的状态和使用方法有关。,2.5.

15、1 元数据的类型与组成,2.5.2 元数据在数据仓库中的作用,元数据描述了数据的结构、内容、键、索引等项内容。在数据仓库中，元数据定义了数据仓库中的许多对象表、列、查询、商业规则或是数据仓库内部的数据转移。它是数据仓库的重要构件，是数据仓库的指示图（roadmap），指出了数据仓库中各种信息的位置和含义。,2.5.2 元数据在数据仓库中的作用,数据仓库的元数据重要性：为数据仓库服务与DSS分析员及高层决策人员服务提供有关决策的数据。 解决操作型环境和数据仓库的复杂关系：元数据要将从操作性环境到数据仓库的转换描述出来以便从数据仓库向数据库回溯时找到原始依据。数据仓库中数据的管理：元数据要描述数据

16、仓库中数据的各种变化，处理。,元数据在数据仓库开发期间的使用元数据要描述数据仓库在抽取、求精和重构过程中从资源到数据仓库之间的映射关系，可用于以下目标： 确认数据质量 同步化和刷新 映射：在反映最终用户所关心的商业规则和数据之间建立一种关系。,2.5.2 元数据在数据仓库中的作用,元数据在数据源抽取中的作用资源领域的确定 跟踪历史数据结构变化的过程属性到属性的映射：多个系统数据源的相似字段要映射到一起。属性转换：将数据字段的不同格式转换为兼容格式。,2.5.2 元数据在数据仓库中的作用,2.5.2 元数据在数据仓库中的作用,元数据在数据求精与重构工程上的作用：数据的分割：由于性能需要将单一数据

17、块分成两个或多个数据块。元数据中要制定分割方案。概括与聚集：向需要概括总数的数据中增加新的数值。预算与推导：创建附加的数据字段。转换与再映像：把数据源信息转化为适合于数据仓库事实表行的过程以及将许多表组成事实表行的过程。,2.5.3 元数据的收集,元数据遍及数据仓库中的任何地方和环境中，因此元数据的收集过程应尽量采用自动收集方式进行。数据源的元数据：包含业务处理系统的数据库、可以获得的外部数据、手工处理的数据及存储在系统中的数据的物理结构。数据模型的元数据：数据模型设计后必须将其存入元数据库中，使得数据模型和元数据一一对应，为以后数据仓库的变动奠定基础。一般使用CASE工具收集。 数据源与数据

18、仓库映射的元数据：数据源于数据仓库的映射反映了数据在加载道数据仓库过程中的变化，这种变化要记录在元数据中。数据仓库应用的元数据：将用户使用数据仓库的频率记录在元数据中，以便为使用频率高的用户建立数据集市或增加概括数据，将使用少的数据释放。,2.6 数据仓库的粒度和聚集模型,粒度是指数据仓库中数据单元的详细程度和级别。数据越详细，粒度就越小，数据综合度越高，粒度就越大，级别就越高。,粒度可定义成数据仓库中数据细节的最低层次，如事务层次。这种数据层次是高度细节化的，这样就能使用户按所需的任何层次进行汇总。根据粒度的划分标准可以将数据划分为：详细数据、轻度总结、高度总结三级或更多级粒度。粒度的具体划

19、分将直接影响到数据仓库中的数据量以及查询质量。,2.6.1 数据粒度的划分,第一步，是估算数据仓库中将来要使用的数据行数和所需的直接存取存储设备数。 每一个表的存储空间，应该是每一个表的数据存储空间和索引存储空间之和。,2.6.2 确定粒度的级别,考虑因素：要接受的分析类型可接受的数据最低粒度能存储的数据量。粒度的层次定义越高，就越不能在该仓库中进行更细致的分析。通常在同一模式中使用多重粒度：对不同数据采用不同粒度。 如存储资源有一定的限制，只能采用较高粒度的数据粒度划分策略。 粒度的确定实质上是业务决策分析、硬件、软件和数据仓库使用方法的一个折衷。 数据粒度划分策略一定要保证数据的粒度确实能

20、够满足用户的决策分析需要，这是数据粒度划分策略中最重要的一个准则。,2.6.3 数据仓库的聚集模型确定,聚集数据主要是为了使用户获得更好的查询性能 。聚集模型设计时应该注意将聚集数据存储在其事实表中，并与其底层数据相区别。 设计聚集模型时，首先需要考虑用户的使用要求。其次要考虑数据仓库的粒度模型和数据的统计分布情况。 数据仓库的聚集模型的设计与数据仓库的粒度模型紧密相关。如果粒度模型只考虑细节数据，就需要多设计一些聚集，如果粒度模型为多层数据，就可以少设计一些聚集。 建立聚集模型时还需要考虑作为聚集属性的数量因素。,2.6.4 聚集模型的处理,聚集事实表已经独立存在并且可以与基本事实表一同保存。通过将当前加载数据添加到系统中的累积“桶”中 ，可以创建某时间短的聚集。将数据的聚集与数据仓库的加载过程组合为同一处理过程 。在将数据仓库数据加载以后，再进行聚集处理 。每次在加载数据仓库数据时，都需要对各种聚集进行计算和增加，及时保持聚集与基本数据的同步性 。,2.6.5 聚集模型的管理,要根据使用情况删除不经常使用的聚集 。需要减少层次过于接近的聚集生成 。注意将聚集独立存储在自己的事实表中，便于用户直接进行聚集数据的查询。,