《数据仓库和数据挖掘deOLAP技术课件.ppt》由会员分享，可在线阅读，更多相关《数据仓库和数据挖掘deOLAP技术课件.ppt（83页珍藏版）》请在三一办公上搜索。
1、数据仓库和数据挖掘deOLAP技术,苟清龙2002年9月,第一节 从数据库到数据仓库,OLTP不适于DSS应用数据仓库的定义及其特征数据仓库的数据组织数据仓库的体系化环境,OLTP不适于DSS应用,事务处理的性能特性不同数据集成问题事务处理应用分散“蜘蛛网”问题数据不一致问题外部数据和非结构化问题数据动态集成问题历史数据问题数据的综合问题,什么是数据仓库,数据仓库是一个用以更好地支持企业或组织的决策分析处理的、面向对象主题的、集成的、不可更新的、随时间不断变化的数据集合。,操作型数据和分析型数据的区别,数据仓库的四个特性,面向主题的集成的随时间不断变化的不可更新的,数据仓库数据的面向主题性,什
2、么是主题？面向主题的例子面向主题的性质面向主题的实现方式面向主题的实现示例主题域及其特性,什么是主题？,主题是一个抽象的概念，是在较高层次上将企业信息综合、归类，并进行分析利用的抽象；在逻辑意义上，他是对企业中某一宏观领域所涉及的分析对象；面向主题的数据组织方式，就是在较高层次上对分析对象的数据一个完整、一致的描述，能完整、统一地刻画各个分析对象所涉及的企业的各项数据，以及数据之间的联系。,一个传统OLTP环境下的数据库模式示例,采购子系统定单（定单号，供应商号，总金额，日期）定单细则（定单号，商品号，类别，单价，数量）供应商（供应商号，供应商名，地址，电话）销售子系统顾客（顾客号，姓名，年龄
3、，文化程度，地址，电话）销售（员工号，顾客号，商品号，数量，单价，日期）,一个传统OLTP环境下的数据库模式示例（续）,库存管理子系统领料单（领料单号，领料人，商品号，数量，日期）进料单（进料单号，定单号，进料人，收料人，日期）库存（商品号，库房号，库存量，日期）库房（库房号，库房管理员，地点，库存商品描述）人事子系统员工（员工号，姓名，性别，年龄，文化程度，部门号）部门（部门号，部门名称，部门主管，电话）,一个传统OLAP环境下的数据库模式示例,商品商品固有信息：商品号，商品名，类别，颜色等；商品采购信息：商品号，供应商号，供应价，供应量，供应日期等；商品销售信息：商品号，顾客号，售价，销售
4、量，销售日期等；商品库存信息：商品号，库房号，库存量，日期等。,一个传统OLAP环境下的数据库模式示例（续）,供应商供应商固有信息：供应商号，供应商名，地址，电话等；供应商品信息：供应商号，商品号，供应价，供应日期，供应量等。顾客顾客固有信息：顾客号，顾客名，性别，年龄，文化程度，地址，电话等。顾客购物信息：顾客号，商品号，售价，购买日期，购买量等。,面向主题数据组织模式的说明,在从面向应用到面向主题的转变过程中，丢弃了原来有的但不必要的、不适于分析的信息；在原有的数据库模式中，有关商品的信息分散在各个子系统之中；面向主题的数据组织方式所强调的就是要形成关于主题一致的信息集合；不同主题之间有重
5、叠内容。,主题的实现,两种主题实现方式多维数据库关系数据库在具体实现中，一个主题可划分为多个表，主题只是一个逻辑概念。,主题实现的范例,主题：商品公共码键：商品号商品表1（商品号，商品名，类型，颜色，）/*商品固有信息*/采购表1（商品号，供应商号，供应日期，供应价，采购量，）/*商品采购的细节描述*/采购表2（商品号，时间段，采购总量，）/*某时段商品采购信息*/采购表n（，）/*时间段不等的采购综合表*/,主题实现的范例（续）,销售表1（商品号，顾客号，销售日期，售价，销售量，）/*商品销售细节信息*/销售表2（商品号，时间段，销售总量，）/*某时段内商品销售信息*/销售表n（，）/*时段
6、不等的销售综合表*/库存表1（商品号，库房号，库存量，日期，）/*商品库存述细节信息*/库存表2（商品号，库房号，库存量，月份，）/*每月月底的商品库存信息*/库存表n（，）/*时点不同的商品库存信息*/,主题域,面向主题的数据组织方式根据分析要求将数据组织成一个完整的分析领域，即主题域。主题域的特性：独立性一个主题域可以和其他主题有交叉部分，但他必须有独立内涵，即要求有明确的界限规定数据是否属于该主题。完备性对一个主题的任意分析处理要求，都能在该主题内找到该处理要求的一切内容。,数据仓库的数据集成性,涵义：数据仓库的数据是从原有的分散数据库数据中抽取集成而来的。问题：操作型数据与分析型数据的
7、差别需要完成的工作要统一数据库中所有的矛盾，如字段的同名异义，异名同义，单位不统一，字长不一致等；进行数据综合和计算。,数据仓库数据的不可更新性,数据仓库的数据主要提供企业决策分析之用，所涉及的数据操作主要是数据查询，一般情况不进行修改操作。,数据仓库数据的时变性,数据仓库随时间变化不断增加新的数据内容；数据仓库随时间变化不断删去旧的数据内容；数据仓库中含有大量的综合数据，这些数据随时间变化不断进行重新组合。,数据仓库的数据组织,数据仓库的数据组织结构图元数据粒度与分割数据仓库的数据组织形式数据仓库的数据追加,数据仓库的数据组织结构,元数据,高度综合级,轻度综合级,当前细节级,早期细节级,元数
8、据,元数据：关于数据的的数据DW中的两种元数据为从操作型环境向DW环境转换而建立的元数据，在DW中用来与终端用户的多维商业模型/前端工具之间建立映射的元数据。,粒度,第一种粒度：对数据仓库中的数据综合程度高低的度量，它影响数据仓库中数据量的多少，也影响所能回答问题的种类。第二种粒度：样本数据库采样率的高低。（采样粒度不同的样本数据库可以有相同级别的综合级别。）,分割,将数据分散到各自的物理单元中去以便能分别独立处理，以提高处理效率，数据分割后的数据单元称为分片。分割的一个例子,数据仓库的数据组织形成,简单堆积文件轮转综合文件（如股市）简化直接文件（按一定时间间隔对数据库采样）连续文件,数据仓库
9、的数据追加,时标方法DELTA文件前后映象文件的方法日志文件,数据库体系化环境,什么是数据库体系化环境？四层体系化环境数据集市,什么是数据库体系化环境,数据库体系化环境是在一个企业或组织内，由各面向应用的OLTP数据库及各级面向主题的数据仓库所组成的完整的数据环境,在这个数据环境上建立和进行一个企业或部门的从联机事务处理到企业管理决策的所有应用。两个组成部分：操作型环境分析型环境,四层体系化环境,操作型环境,数据仓库,局部仓库,个人仓库,全局级,部门级,个人级,（1）操作型环境：存放细节操作性数据，服务于高性能事务处理。（2）全局级DW：存放细节数据，以及大量导出数据。（3）部门级DW：一般仅
10、包含导出数据。（4）个人级DW：都是暂时的，用于启发式分析。,数据集市,全局数据仓库,数据再抽取与集成,采购子系统,销售子系统,库存子系统,人事管理,财务子系统,数据抽取,数据抽取,数据抽取,数据抽取,数据抽取,DATA MART,第二节 数据仓库设计,数据仓库系统设计方法概述DW 设计的三级数据模型提高DW性能数据仓库中的元数据数据仓库的设计步骤,数据仓库系统设计方法概述,DWS与DBS设计的不同之处SDLC与CLDS方法比较“数据驱动”系统设计方法的基本思路数据模型是数据驱动设计方法的中心DW系统设计是一个动态反馈循环过程DW的三级数据模型提高DW的性能,DWS与DBS设计的不同之处,面向
11、处理类型不同面向需求不同系统设计的目标不同两者的数据来源或系统的输入不同系统设计方法和步骤不同,SDLC与CLDS方法比较,收集应用需求,分析应用需求,构建数据库,应用编程,系统测试,系统实施,DB,应用A,应用B,应用C,数据仓库建模,数据获取与集成,构建数据仓库,DSS应用编程,系统测试,理解需求,DW,DB,DB,外部数据,“数据驱动”系统设计方法的基本思路,“数据驱动”系统设计方法的思路就是利用以前所取得的工作成果来进行系统建设。DW的设计是从已有的DB系统出发，按照分析领域对数据及数据之间的联系重新考察、组织DW中的主题。系统设计方法的中心是利用数据模型有效地识别原有的数据库中的数据
12、和数据仓库中主题的数据的“共同性”。,数据模型是数据驱动设计方法的中心,操作型环境设计,操作型处理应用开发与设计,DB,DB,DB,数据仓库设计,DSS应用开发与设计,DW,数据模型,DW系统设计是一个动态反馈循环过程,DW的数据内容、结构、粒度、分割以及其他物理设计根据用户所返回的信息不断调整、完善，以提高系统的效率和性能。通过不断的理解用户的分析需求，向用户提供更准确，更有用的决策信息。,DW与DB三级数据模型的区别,DW的数据模型不包含纯操作型数据;DW的数据模型扩充了码结构，增加了时间属性作为码的一个部分；DW的数据模型中增加了一些导出数据。,DW的三级数据模型,概念模型逻辑模型物理模
13、型,高级模型、中级模型和低级模型,高级模型：即E-R图；低级模型：即物理数据模型中级模型：称为数据项（dis-data item set）,Dis中的数据组,联接数据组：主要用于本主题域与其他主题域之间的联系，体现E-R图中实体之间的关系。基本数据组二级数据组类数据组,提高DW的性能,粒度划分分割其他问题,粒度划分,粒度划分的决定因素并非总的数据量,而是总的行数。划分步骤(1)估算DW中数据行数和所需的DASD(Direct Access Storage Device)数。(2)根据估算算出的数据行数和DASD，决定是否划分粒度，如果要，如何划分。,分割,核心：选择适当的分割标准考虑因素：数据
14、量、数据分析处理的实际情况、简单易行、粒度划分,数据仓库物理设计中的其他一些问题,合并表建立数据序列引入冗余表的物理分割生成导出数据建立广义索引,第三节 数据操作存储(ODS),ODS的定义与特点ODS的功能ODS与DW的区别DB-ODS-DW三层体系结构,ODS的定义与特点,ODS是用于支持企业日常的全局应用的数据集合。保存在ODS中的数据具有四个基本特点：（1）面向主题的（2）集成的（3）可变的（4）数据是当前或接近当前的,ODS的功能,进行企业级的联机事务处理；“即时OLAP”数据处理。,ODS与DW的区别,DB-ODS-DW三层体系结构,DW,分析型环境,ODS,DB,DB,DB,应用
15、,操作型环境,第四节 数据仓库工具,数据仓库体系结构OLTP的基本概念多维分析的基本分析动作OLAP 的准则OLAP实现,数据仓库体系结构示意图,数据库系统和数据仓库系统结构的比较,OLAP的基本概念,变量变量是数据的实际意义。即描述数据“是什么”。维维是人们观察数据的特定角度。如时间维、地理维。,OLAP的基本概念,维的层次人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的多个描述方面，我们称这个描述方面为维的层次。如：时间维：日期月份季度年 地理维：城市地区国家,OLAP的基本概念,维成员维的一个取值称为该维的一个维成员。若一个维是多层次的，那么该维的维成员是在不同层次的取值组
16、合。例：时间维：日期、月份、年 维成员：某年某月某日、某年某月、某年对应一个数据项来说，维成员是该数据项在某维中位置的描述。例：对一个销售数据而言，时间维成员“某年某月某日”就表示该销售数据是“某年某月某日”的销售数据，“某年某月某日”是该销售数据在时间维位置的描述。,OLAP的基本概念,多维数组一个多维数组可以表示为：（维1，维2，维3，维n，变量）例：（地区，时间，销售渠道，销售额）,OLAP的基本概念,数据单元多维数组的取值称为数据单元。例：多维数组：（地区，时间，销售渠道，销售额）数据单元：（北京，2002年7月，批发，1000）,多维分析的基本分析动作,切片（Slice）定义1：在多
17、维数组的某一个维上选定一维成员的操作称为切片。即在多维数组（维1，维2，维3，维n，变量）中选取一维，设为维i，并取其一维成员（设为“维成员Vi”），所得多维数组的子集（维1，维成员Vi，维n，变量）称为维i上的一个切片。例：多维数组：（地区，时间，产品，销售额）一个切片：（地区，2002年9月，产品，销售额）,多维分析的基本分析动作,切片（Slice）定义2：选定多维数组的一个二维子集的动作叫作切片，即选取多维数组（维1，维2，维3，维n，变量）中的两个维，维i和维j，在这两个维上取某一区间或任意维成员，而将其余的维取定一个维成员，则得到的是一个多维数组在维i和维j上的二维子集，称这个二维子
18、集为多维数组在维i和维j上的一个切片，表示为（维i，维j，变量）,多维分析的基本分析动作,切块定义1：在多维数组的某一维上选定某一区间的维成员动作称为切块，即限制多维数组在某一维上的取值空间。定义2：选取多维数组的一个三维子集的动作称为切块，即选定多维数组（维1，维成员Vi，维n，变量）中的三个维：i，j，r，在这三个维上某一区间或任意维成员，而将其余的维都取定一个维成员则得到的就是多维数组在维i、维j和维r上的一个三维子集，我们称这个三维子集为多维数组在维i、维j和维r上的一个切块，表示为：（维i，维j，维r，变量）。,多维分析的基本分析动作,旋转旋转即是改变一个报告或页面显示的维方向。旋转
19、示例,时间维,产品维,行列交换,产品维,时间维,（a）,多维分析的基本分析动作,旋转示例（续）,北京,上海,地区,销售量,销售量,产品,：,：,时间,第一季度,第二季度,第一季度,第二季度,北京,地区,时间,产品,上海,：,将某行维换向列维,（b）,多维分析的基本分析动作,旋转示例（续）,时间维,产品维,地区维,时间维,地区维,产品维,旋转以改变页面显示,（c）,多维分析的基本分析动作,上钻(drill-up)上钻操作通过一个维的概念分层向上攀升或者通过维归约，在数据方体上进行聚集。下钻（drill-down）下钻是上钻的逆操作，它有不太详细的数据到更详细的数据。下钻可以通过沿维的概念分层向下
20、或引入新的维来实现。,OLAP 的准则,OLAP模型必须提供多维概念视图透明性准则存取能力推测稳定的报表能力客户/服务器体系结构维的等同性准则动态的稀疏矩阵处理准则多用户支持能力准则非受限的跨维操作直观的数据操纵灵活的报表生成不受限的维与聚集层次,OLAP实现,基于多维数据库的OLAP实现基于关系数据库的OLAP实现,RDBMS与MDDB数据组织比较,（a）,（b）,RDBMS与MDDB在综合数据存放上的比较,（b）,（a）,RDBMS与MDDB比较,关系数据库采用关系来表达某产品在某地区的销售情况，而多维数据库中的数据组织形式采用了二维矩阵的形式。显然，二维矩阵比关系表达更清晰而且占用存储少
21、。关于综合数据：对关系表而言，当数据苦太大时，预先处理计算各种综合需要的时间过长，并且这样会破坏列定义的统一语义。由于在MDDB中，数据可以直接按行或列累加，并且由于MDDB不象关系表那样重复出现产品和地区信息，因此其统计速度远超过RDBMS。,维的层次关系,简单层次关系的层次图,维的层次关系,地区总和,辽宁省,华北地区,东北地区,西北地区,沈阳市,大连市,黑龙江省,吉林省,维的层次关系,产品维,时间维,西北,陕西,甘肃,：,宁夏,东北,黑龙江,吉林,辽宁,沈阳,大连,有关维的层次信息需要放在元数据中，这样系统在进行各种综合查询时，就能通过元数据的信息区分不同的维层次，从而正确的执行查询。,类
22、,类是指按一定的划分标准对维成员全集的一个分类划分。用集合论的概念来讲，设全体维成员为一个全集，则类是该全集的一个划分。,产品维,东北,西北,华北,华南,东北,西北,华北,华南,按“产品”销地划分,按“产品”产地划分,维层次关系,类划分1,类划分2,维层次和类的区别,层次和类表达的意义不同 维层次表达的是维所描述的变量的不同综合层次。维层次越高，对应综合层次越高，粒度也越大。维层次越多，粒度层次也越丰富。表现在层次图中，父子结点的关系就是层次关系。维成员的类表达则是某一子集维成员的共同特征。这个共同特征由类属性的某一个值来表征。表现在层次图中，父子结点之间不存在类的关系，同一层次的维成员才可以
23、划分为类。,维层次和类的区别,在层次和类上进行的分析动作不同在维层次关系上进行的分析主要有上卷和下钻两种，其分析路径就是层次图中从根到叶或从叶到根的一条路径。按照维成员的类进行的分析主要有两个目的：分类和归纳。即首先选择某个属性来对维成员的全集进行分类，然后再在分类的基础上归纳总结出类的共同特征（或一类别区别与他类的特征）。表现在层次图上，按照维成员的类进行的分析是对兄弟结点之间的关系的分析，因此不可能跨越不同的层次。实际分析中，两种分析经常交叉组合在一起。,时间序列数据类型,与其他维不同，时间维包含着特有的周期，不同的周期之间存在着转化规则。按照时间顺序排列的一系列的数据称为时间序列数据。时
24、间序列模型的优点存放在一个数据单元中的时间序列数据已经包含了时间信息，因而可以省去时间维，简化了对时间的处理。多维数据库对数据单元的数目是有限制的，采用时间序列类型可以大大减少多维数据库数据单元的数目。,时间序列数据存储,产品,地区维,东北西北华北总销量（日）,彩电,冰箱,空调,各地区总和（周）,基于关系数据库的OLAP实现,关系数据库将多维结构划分为两类表，即事实表与维表。事实表：用来存储事实的度量值及各个维的码值。维表：对每一个维而言，至少有一个用来保存该维的元数据，即维的描述信息包括维的层次及成员类别等。,基于关系数据库的OLAP实现,“星形模式”事实表是通过每一个维的值和维表联系在一起
25、的，该结构称为“星形”模式。,Time_key,Item_key,Branch_key,Location_key,Dollars_sold,Units_sold,Time_key,Day,Day_of_the_weeK,month,quarter,year,Branch_key,Branch_name,Branch_type,Item_key,Item_name,brand,type,Supplier_type,country,Province_or_state,city,street,Location_key,基于关系数据库的OLAP实现,“雪片”模式实际应用中，数据的维往往不仅只有一个维层
26、次，并且，当维的层次与类组合在一起将构成一个复杂的维。对于维内层次复杂的维，用一张维表来描述会带来过多的冗余数据。为此，采用多张表来描述一个复杂的维，这样，“星形”模式演变为“雪片”模式。,基于关系数据库的OLAP实现,“雪片”模式,Time_key,Item_key,Branch_key,Location_key,Dollars_sold,Units_sold,Time_key,Day,Day_of_the_weeK,month,quarter,year,Branch_key,Branch_name,Branch_type,Item_key,Item_name,brand,type,Supplier_key,country,Province_or_state,City_key,street,Location_key,city,City_key,Supplier_type,Supplier_key,
