《数据仓库与数据挖掘(陈志泊)课后习题答案.docx》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘(陈志泊)课后习题答案.docx（8页珍藏版）》请在三一办公上搜索。
1、数据仓库与数据挖掘习题答案第1章数据仓库的概念与体系结构1 .面向主题的，相对稳定的。2 .技术元数据，业务元数据。3 .联机分析处理OLAP。4 .切片(Slice),钻取(Drill-down和Roll-up等)。5 .基于关系数据库。6 .数据抽取，数据存储与管理。7 .两层架构，独立型数据集市，依赖型数据集市和操作型数据存储，逻辑型数据集市和实时数据仓库。8 .可更新的，当前值的。9 .接近实时。10 .以报表为主，以分析为主，以预测模型为主，以营运导向为主。11 .答：数据仓库就是一个面向主题的(SUbjeCtOiented)、集成的(Integrate)、相对稳定的(Non-VoI
2、atiIe).反映历史变化(TimeVariant)的数据集合，通常用于辅助决策支持。数据仓库的特点包含以下几个方面：(1)面向主题。操作型数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离；而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点领域，一个主题通常与多个操作型业务系统或者外部档案数据相关。(2)集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据作抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，
3、以保证数据仓库内的信息是关于整个企事业单位一致的全局信息。也就是说存放在数据仓库中的数据应使用一致的命名规则、格式、编码结构和相关特性来定义。(3)相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用，对所涉及的数据操作主要是数据查询和加载，一旦某个数据加载到数据仓库以后，普通情况下将作为数据档案长期保存，几乎再也不做修改和删除操作，也就是说针对数据仓库，通常有大量的查询操作及少量定期的加载(或者刷新)操作。(4)反映历史变化。操作型数据库(OLTP)主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含较久远的历史数据，因此总是包
4、括一个时间维，以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息，通过这些信息，可以对单位的发展历程和未来趋势做出定量分析和预测。12 .答：两层架构(GenericTwo-LevelArchitecture)。(2)独立型数据集市(IndependentDataMart)0(3)依赖型数据集市和操作型数据存储(DePendentDataMartandoPerationalDataStore)。(4)逻辑型数据集市和实时数据仓库(LogiCalDataMartandReal-TimeDataWarehouse)。13 .答
5、：数据仓库技术的发展包括数据抽取、存储管理、数据表现和方法论等方面。在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或者数据源可能的变化，使系统更便于管理和维护。在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为数据仓库服务器产品与数据库服务器并驾齐驱。在这一方面，带有决策支持扩展的并行关系数据库将最具发展潜力。在数据表现方面，数理统计的算法和功能将普遍集成到联机分析产品中，并与Intemet/Web技术密切结合。按行业应用特征细化的数据仓库用户前端软件将成为产品作为数据仓库解决方案的一部份。数据仓库
6、实现过程的方法论将更加普及，将成为数据库设计的一个明确分支，成为管理信息系统设计的必备。14 .答：（1）旧M公司提供了一套基于可视化数据仓库的商业智能（BI）解决方案，包括：VisualWarehouse（VW）.EssbaseDB2OLAPServer5.0、IBMDB2DB,以及来自第三方的前端数据展现工具（如BO）和数据挖掘工具（如SAS）o其中，VW是一个功能很强的集成环境，既可用于数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度。EsSbaSeDB2OLAPServer支持“维”的定义和数据装载。EssbaseDB2OLAPServer不是ROLAP（Relationa
7、IOLAP）服务器，而是一个（RoLAP和MOLAP）混合的HOLAP服务器，在ESSbaSe完成数据装载后，数据存放在系统指定的DB2UDB数据库中。它的前端数据展现工具可以选择BIlSineSSObjeCtS的BO、LOtUS的Approach、COgnOS的ImPromPtU或者IBM的QueryManagementFacility；多维分析工具支持ArborSoftware的Essbase和IBM（与Arbor联合开辟）的DB20LAP服务器；统计分析工具采用SAS系统。Oracle数据仓库解决方案主要包括OraCleExpress和OradeDiscoverer两个部份。Oracle
8、EXPreSS由四个工具组成：OraCIeEXPreSSSerVer是一个MoLAP（多维OLAP）服务器，它利用多维模型，存储和管理多维数据库或者多维高速缓存，同时也能够访问多种关系数据库；OracleExpressWebAgent通过CGI或者Web插件支持基于Web的动态多维数据展现；OracleExpressObjects前端数据分析工具（目前仅支持Windows平台）提供了图形化建模和假设分析功能，支持可视化开辟和事件驱动编程技术，提供了兼容ViSUalBaSiC语法的语言，支持OCX和OLE；OraCleEXPreSSAnaIyZer是通用的、面向最终用户的报告和分析工具（目前仅支
9、持WirIdoWS平台），OracleDiscoverer即席查询工具是专门为最终用户设计的,分为最终用户版和管理员版。在OraCle数据仓库解决方案的实施过程中，通常把汇总数据存储在EXPreSS多维数据库中，而将详细数据存储在OraCIe关系数据库中，当需要详细数据时，ExpressServer通过构造SQL语句访问关系数据库。（3）MiCrOSOft将OLAP功能集成到SQLSerVer数据库中，其解决方案包括Bl平台、Bl终端工具、Bl门户和BI应用四个部份，如图1.1。Bl平台是Bl解决方案的基础，包括ETL平台SQLServer2005IntegrationService（SSIS
10、）数据仓库引擎SQLServer2005RDBMS以及多维分析和数据挖掘引擎SQLServer2005AnalysisService报表管理引擎SQLServer2005ReportingService。BI终端用户工具，用户通过终端用户工具和AnaIySiSService中的OLAP服务和数据挖掘服务进行交互来使用多维数据集和数据挖掘模型，终端用户通常可使用预定义报表、交互式多维分析、即席查询、数据可视化、数据挖掘等多种方法。Bl门户提供了各种不同用户访问Bl信息的统一入口。Bl门户是一个数据的汇集地，集成为了来自不同系统的相关信息。用户可以制定个性化的个人门户，选择和自己相关性最强的数据，
11、提高信息访问和使用的效率。Bl应用是建立在Bl平台、Bl终端用户工具和Bl统一门户这些公共技术手段之上的满足某个特定业务需求的应用，例如零售业务分析、企业项目管理组合分析等。第2章数据仓库的数据存储与处理1 .企业级数据仓库（EDW）。2 .单一的，详细的。3 .最初填充数据仓库。4 .越高，越低，越多。5 .提高，预处理，事实表。6 .自然键（NaturalKey）,代理键（SurrogateKey）。7 .星型模式。8 .早期细节级，轻度综合级。9 .答：简单地说，数据是从企业内外部的各业务处理系统（操作型数据）流向企业级数据仓库（EDW）或者操作型数据存储区（ODS）,在这个过程中，要根
12、据企业（或者其他组织）的数据模型和元数据库对数据进行调和处理，形成一个中间数据层，然后再根据分析需求，从调和数据层（EDW、ODS）将数据引入导出数据层，如形成满足各类分析需求的数据集市。10 .答：数据的ETL过程就是负责将操作型数据转换成调和数据的过程。如上面的2.3.1小节所述，这两种数据具有明显的区别，因此，数据调和是构建一个数据仓库中最难的和最具技术挑战性的部份。在为企业级数据仓库填充数据的过程中，数据调和可分为两个阶段：一是企业级数据仓库（EDW）首次创建时的原始加载；二是接下来的定期修改，以保持EDW的当前有效性和扩展性。整个过程由四个步骤组成：抽取、清洗、转换、加载和索引。事实
13、上，这些步骤可以进行不同的组合，如，可以将数据抽取与清洗组合为一个过程，或者将清洗和转换组合在一起。通常，在清洗过程中发现的拒绝数据信息会送回到源操作型业务系统中，然后将数据在源系统中加以处理，以便在以后重新抽取。11 .答：在星模式中，事实表居中，多个维表呈辐射状分布于其四周，并与事实表连接。位于星形中心的实体是事实表，是用户最关心的基本实体和查询活动的中心，为数据仓库的查询活动提供定量数据。位于星模式四周的实体是维度实体，其作用是限制和过滤用户的查询结果，缩小访问范围。每一个维表都有自己的属性，维表和事实表通过关键字相关联。12 .答：因为数据仓库或者数据集市的数据总是历史的数据，需要时间
14、维来区别。第3章数据仓库系统的设计与开辟1 .在线分析处理（C）LAP）分析。2 .信息包图法，维度，类别，度量。3 .逻辑模型。4 .事务事实，快照事实，线性项目事实。5 .聚合。6 .时间，区域。7 .退化维。8 .无变化，缓慢变化，剧烈变化。9 .索引。10 .反向规范化，引入冗余。11 .答：信息包图法，也叫用户信息需求表，就是在一张平面表格上描述元素的多维性，其中的每一个维度用平面表格的一列表示，通常的维度如时间、地点、产品和顾客等；而细化本列的对象就是类别，例如时间维度的类别可以细化到年、月、日，甚至小时；平面表格的最后一行（代表超立方体中的单元格）即为指标度量值，例如，某年在某销
15、售点的某类产品的实际销售额。创建信息包图时需要确定最高层和最低层的信息需求，以便最终设计出包含各个层次需要的数据仓库总之，信息包图法是一种自上而下的数据建模方法，即从用户的观点开始设计（用户的观点是通过与用户交流得到的），站在管理者的角度把焦点集中在企业的一个或者几个主题上，着重分析主题所涉及数据的多维特性，这种自上而下的方法几乎考虑了所有的信息源，以及这些信息源影响业务活动的方式。12 .答：采集、分析和确认业务分析需求，分析和理解主题和元数据、事实及其量度、粒度和维度的选择与设计、数据仓库的物理存储方式的设计等。13 .答：（1）采集和分析业务需求；（2）建立数据模型和数据仓库的物理设计；
16、（3）定义数据源；（4）选择数据仓库技术和平台；（5）从操作型数据库中抽取、清洗及转换数据到数据仓库；（6）选择访问和报表工具，选择数据库连接软件，选择数据分析和数据展示软件；（7）更新数据仓库。14 .答：参考3.3节的过程。第4章关联规则1 .apriori,fp-growth,fp-growtho2 .abcabdacd,abcabdo3 .abc,ac4 .答：关联规则挖掘最初由RAgrawaI等人提出，用来发现超级市场中用户购买的商品之间的隐含关联关系，并用规则的形式表示出来，称为关联规则(ASSoCiatiOrlRUIe).关联规则除了可以发现超市购物中隐含的关联关系之外，还可以应
17、用于其他不少领域。关联规则的应用还包括文本挖掘、商品广告邮寄分析、网络故障分析等。5 .答：关联规则的分类：(1)基于规则中涉及到的数据的维数，关联规则可以分为单维的和多维的。(2)基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则。(3)基于规则中处理的变量的类型不同，关联规则可以分为布尔型和数值型。关联规则挖掘的步骤：(1)找出交易数据库中所有大于或者等于用户指定的最小支持度的频繁项集；(2)利用频繁项集生成所需要的关联规则，根据用户设定的最小可信度进行取舍，产生强关联规则。6 .答：规则：c=a,a=Co7 .答：顷*件一代庠ffFP-UeeP(fbu2).(cb1)(c：3)
18、|pm(tea:2),(fcab1)(t3.c:3.a3)mb(fca1).(t1).(cJ)Emptya(te3)(t3.c:3)|aC(tf3)(ff3)McfEmPtyEmpty第5章数据分类1 .获取数据，预处理，分类器设计，分类决策。2 .划分数据集，分类器构造，分类器测试。3 .精确度，查全率和查准率，F-measre,几何均值。4 .多项式核函数，径向基核函数，S型核函数。5 .答：分类是指把数据样本映射到一个事先定义的类中的学习过程，即给定一组输入的属性向量及其对应的类，用基于归纳的学习算法得出分类。分类问题是数据挖掘领域中研究和应用最为广泛的技术之一，许多分类算法被包含在统计
19、分析工具的软件包中，作为专门的分类工具来使用。分类问题在商业、银行业、医疗诊断、生物学、文本挖掘、因特网筛选等领域都有广泛应用。例如，在银行业中，分类方法可以辅助工作人员将正常信用卡用户和欺诈信用卡用户进行分类，从而采取有效措施减小银行的损失；在医疗诊断中，分类方法可以匡助医疗人员将正常细胞和癌变细胞进行分类，从而及时制定救治方案，拯救病人的生命；在因特网筛选中，分类方法可以协助网络工作人员将正常邮件和垃圾邮件进行分类，从而制定有效的垃圾邮件过滤机制，防止垃圾邮件干扰人们的正常生活。6 .答：求解过程请参考例5.1o7 .答：计算X与x1x7的欧氏距离，可以知道X的最近邻是x4,X的前3个近邻
20、是x4,x1,x2,所以，利用最近邻分类方法对X进行分类时X的类标号是y=-1,利用k-近邻分类方法(k=3)对X进行分类时X的类标号是y=+1)第6章数据聚类1 .连续型，二值离散型，多值离散型，混合类型。2 .欧氏距离，曼哈顿距离，明考斯基距离。3 .选定某种距离作为数据样本间的相似性度量，选择评价聚类性能的准则函数，选择某个初始分类，之后用迭代的方法得到聚类结果，使得评价聚类的准则函数取得最优值。4 .凝结型层次聚类，分解型层次聚类。5 .答：聚类分析是将物理的或者抽象的数据集合划分为多个类别的过程，聚类之后的每个类别中任意两个数据样本之间具有较高的相似度，而不同类别的数据样本之间具有较
21、低的相似度。聚类分析是数据挖掘应用的主要技术之一，它可以作为一个独立的工具来使用，将未知类标号的数据集划分为多个类别之后，观察每一个类别中数据样本的特点，并且对某些特定的类别作进一步的分析。此外，聚类分析还可以作为其他数据挖掘技术(例如分类学习、关联规则挖掘等)的预处理工作。聚类分析在科学数据分析、商业、生物学、医疗诊断、文本挖掘、Web数据挖掘等领域都有广泛应用。在科学数据分析中，比如对于卫星遥感照片，聚类可以将相似的区域归类，有助于研究人员根据具体情况做进一步分析；在商业领域，聚类可以匡助市场分析人员对客户的基本数据进行分析，发现购买模式不同的客户群,从而协助市场调整销售计划；在生物学方面
22、，聚类可以匡助研究人员按照基因的相似度对动物和植物的种群进行划分，从而获得对种群中固有结构的认识；在医疗诊断中，聚类可以对细胞进行归类，有助于医疗人员发现异常细胞的聚类，从而对病人及时采取措施；在文本挖掘和Web数据挖掘领域中，聚类可以将网站数据按照读者的兴趣度进行划分，从而有助于网站内容的改进。6 .答：参考图6.17 .答：参考6.4.2节的步骤。8 .答：根据给定的数据集，设定数据样本之间的距离采用欧氏距离，聚类集合之间的相似性度量采用最小距离，聚类结果如下图所示。第7章贝叶斯网络1 .答：由SA发生得知，Hc)发生/不发生的概率为0.56566/0.43434；由PX发生得知，BT发生
23、/不发生的概率为0089091090根据表7.6中给出的联合条件概率分布，可得HA发生环发生的概率是0.4533/0.5467。再根据条件概率公式，P(+BTHA)=P(+HA+BT)P(+BT)/P(+HA)=0.9509X0.0891/0.4533=0.1869o2 .答：事实上，从“有酒精味”到“患脑瘤”之间没有任何的因果关系，也就是说，“有酒精味”并不能影响到脑瘤的产生。但是，“有酒精味”能够影响“患脑瘤”的诊断概率。这是因为，“有酒精味”使得引起“头疼”的更多因素归为喝酒，而不是患脑瘤，从而使得“患脑瘤”的概率大大降低。3 .答：贝叶斯网络的3个主要议题分别是：预测、诊断和历史数据训
24、练。4 .答：要训练条件概率P(BA),可以在历史数据中统计A发生的次数T(A),然后统计在A发生的数据中B发生的次数T(A,B),条件概率P(BIA)=T(B)ZT(A)O要训练联合条件概率P(CA1B),可以在历史数据中统计A、B共同发生的次数T(A5B),然后在A、B共同发生的数据中统计C发生的次数T(A,B,C),联合条件概率P(CA,B)=T(A,B,C)T(A,B)o以上的符号A、B、C可以表示某个事件，也可以表示该事件的相反事件。5 .答：可以用两种方式从历史数据中得到各个节点的发生概率：(1)用各节点的发生次数除以总的数据条数，就是各个节点的发生概率。(2)首先，用第一种方法计
25、算原因节点的发生概率，然后计算原因节点到中间节点或者结果节点的条件概率，最后根据原因节点的概率和这些条件概率计算结果节点的概率。第8章粗糙集1.答：粗糙集理论是一种新型处理不完整性和不确定性问题的数学工具，它能对不完整资料(数据)进行分析，推理，学习和发现，具有很强的知识获取能力。苔：X的下近似合为fxjjX的上近似IR合为lI,l,xftjr4,xr,xg)3. :报据上近似的定义，R(X)是一个非相植集，也就是说，R(X)是一些等价类的并.所以R(X)取上近似后，仍然是它自身；R(X)取下近似后，也仍然是它自身4答：(1)由矽形戌的等价类划分是(Xxa)x&和jumJ由两附成的等价类划分是
26、(x.X2,XiX4)O(X4.)J由R3的成的等价类划分是m(Xj,X3)(x*.)2)由R附成的等价类划分是h、.M).(mX相对于R的相精度为13.5答：帆识矩阵为，QR2弁1,弁2J0弁弁2Rl0J0弁2第9章神经网络1 .答：前馈网络和递归网络的本质区别是网络的某些输出是不是循环作为网络的输入。前做网络的所有输出都不能作为输入，而递归网络的某些输出可以循环作为网络的输入。2 .答：多层前馈网络中隐藏层神经元的作用是增强网络的适应能力。通过隐藏层，多层前馈网络可以逼近系统中任意非线性的成份。3 .答：在BP算法中，总体误差对网络输出的偏导数和有序导数始终一致。这是因为：总体误差与网络输
27、出变量之间没有中间变量；而总体误差对网络输入的偏导数和有序导数是不一致的。这是因为，总体误差和输入变量之间有中间变量。4 .答：第一行的2个输出分别是：4.84和20.32o第二行的2个输出分别是3.96和19.27。第10章遗传算法1.4o21000110101,0101001101o3.1001010101,0100101101o4.1101111101,0000000101O5 .答：（1）函数优化问题（2）组合优化问题（3）生产调度问题（4）自动控制（5）图象处理（6）人工生命（7）遗传编程（8）机器学习6 .答：SGA的基本流程如下：（1）初始化，产生初始种群。（2）个体评价，即计算
28、种群中每一个个体的适应度。（3）按选择概率Ps,执行选择算子，从当前种群中选择部分个体进入下一代种群。（4）按交叉概率Pc,执行交叉算子。（5）按变异概率Pm,执行变异算子。（6）若满足设定的终止条件，则输出种群中适应度最优的个体作为问题的最优解或者满意解，否则执行（2）。7 .答：（1）确定编码方式，以便对问题的解进行编码，即用个体表示问题的可能解。（2）确定种群大小规模。（3）确定适应度函数，决定个体适应度的评估标准。（4）确定选择的方法及选择率。（5）确定交叉的方法及交叉率。（6）确定变异的方法及变异率。（7）确定进化的终止条件。8 .答：存在早成熟收敛，收敛速度慢等缺点。9 .答：表1
29、0.6习题9所用表格个体适应度选择概率累计概率13280.1460370.14603724460.198575034461335290.235530.58014249430.4198581第11章统计分析1 .答：参考IIil节的推导过程。2 .答线性回归模型的因变量是连续的，不太适合因变量Y为二分变量（例如因变量Y的具体取值为1时表示购买了产品，因变量Y的具体取值为。时表示没有购买产品）的场合。在因变量为二分变量时普通采用LOgiStiC回归模型（逻辑回归模型）的形式，用极大似然估计法（maximumlikelihoodestimate）求解模型中参数。3 .答：普通来说，建立ARlMA模型
30、需要以下几个步骤：（1）根据时间序列的图形或者者其他方法对序列的平稳性进行判断。包含长期趋势和周期性变化的时间序列一定是不平稳的。（2）对非平稳序列进行平稳化处理，普通使用差分的方法。在差分时需要确定差分的阶数，即d的取值。（3）对于差分后的平稳序列，根据时间序列模型的识别规则建立相应的模型，也就是确定模型中P和q的值。模型识别中最主要的工具是自相关函数和偏相关函数。自相关函数描述了时间序列的当前序列和滞后的相关系数；偏相关函数描述了给定中间序列的条件下当前序列和滞后序列的相关系数。自相关函数和偏相关函数的图形可以帮助使用者初步判断时间序列所适合的模型形式和自回归、挪移平均的阶数。（4）确定了
31、模型中p、d、q的值，接下来就需要对模型中的p+q个参数进行估计了。ARMA模型的参数估计可以采用最小二乘估计或者极大似然估计等。参数估计的过程比较更杂，但借助于统计软件的匡助在实际应用中这已经不是一个问题了。（5）估计出模型的参数后，通常需要借助于一些统计方法对模型中参数的显著性、拟合效果等进行检验和分析。对模型残差的自相关函数和偏自相关函数进行分析是检验的重要内容，如果残差序列的自相关系数和偏自相关系数在统计上都不显著，就可以认为模型是可接受的。（6）通过检验的模型就可以用来进行预测了。预测通常通过统计软件来实现，手工计算对于包含MA项的模型来说困难比较大。4 .答：参考11.1.5节的过
32、程。5 .答：参考11.2.3节的过程。6 .答：参考1134节的过程。第12章文本和Web挖掘1 .答：Web挖掘的3个主要类别是Web内容挖掘、Web结构挖掘和Web使用挖掘。2 .答：文本的向量为v1-AOAOAOAOAOAOtOtO)V2-0.0,0,0,0,0.0.0,0,0,0,0.1.1,l,l,t0.0,0,0,0,0.0,0)V3-ltlt3A1Abl0,0,1,o,oto,o,o,o,o,o,o,o,OAO)文档之间的相似性为：sim(V,V)=iI*_*-I-=_0.80vlv343v928.58V,Pj03.答：查准率是检索到的文档中的相关文档占全部检索到的文档的百分比，它所衡量的是检索系统的准确性。查全率是被检索出的文档中的相关文档占全部相关文档的百分比，它所衡量的是检索系统的全面性。4.答：请参看12.2.5节中有关分词的内容。5.答：路径分析可用于发现Web站点中最时常被访问的路径，从而调整站点的结构。例如，某个网站的主页A中有一个链接指向了网页B,而网页B中有一个链接指向了网页C。经过Web路径挖掘发现，凡是从主页开始访问并链接到网页B的用户，大都最后链接到了网页C.根据发现的这条规律，可以在主页中增加一个链接C,这样可以方便大多数用户的使用。
