《商务智能基本概念.ppt》由会员分享，可在线阅读，更多相关《商务智能基本概念.ppt（48页珍藏版）》请在三一办公上搜索。
1、数据仓库与数据挖掘,教师：张可,课程性质与参考书目,专业课程，综合性强理论与实践相结合教材：数据仓库与数据挖掘技术（第2版），陈京民，电子工业出版社，2007.参考书目数据挖掘概念与技术（第2版），（加）韩家炜，堪博，机械工业出版社，2007.SQL Server 2005 联机丛书中的Analysis Services 教程、数据挖掘教程,第1章 商务智能基本概念,信息技术的不断推广应用，将企业带入了一个信息爆炸的时代。每日、每时、每刻都有潮水般的信息出现在管理者的面前，等待管理者去处理、去使用。与此同时，企业的管理者在管理中面对来自不同部门的、相互矛盾的信息无法对所要解决的决策问题提出正确
2、的解决方案。为此，需要一种新的信息处理技术能够使决策者们获取及时准确的信息，以理解商务活动并做出智能化的、更有效的决策，即能从海量的数据中提取有用的信息并转化为商务知识，从而告别“拍脑袋”决策方式。通过本章学习，可以了解：商务智能的发展及体系结构；数据仓库的总体结构框架；数据仓库的功能结构；数据仓库的环境支持结构；数据挖掘的基本原理；数据挖掘的应用范围和应用过程。,1.1 商务智能的基本概念,1.1.1 商务智能的定义1989年美国加特纳公司的分析师Howard Dresner首次提出“商务智能”美国IBM公司的定义 Microsoft认为商务智能 IDC国际数据公司 Business Obj
3、ects公司认为商务智能 Teradata公司认为商务智能的目的美国Micro Strategy公司的定义,1.1 商务智能的基本概念,商务智能是数据仓库、联机分析处理和数据挖掘等相关技术走向商业应用后形成的一种应用技术。该技术收集、汇总了与商务活动有关的各种数据，将其集成到数据仓库中。采用联机分析技术（OLAP）对商务活动进行实时的监控、分析，便于及时采取有效的商务决策，提升商务活动的绩效。应用数据挖掘技术(DM)对描述商务活动的数据进行挖掘，以获取有效的商务信息，从中提取商务知识，为企业商业发展寻找新的机遇。OLAP 与 DM之间的区别？,1.1 商务智能的基本概念,三种技术的关系：数据仓
4、库是BI基础；OLAP是BI利器；DM是BI源泉。例子：一位消费者话34元在网上购买了一本介绍证券交易的图书。思考？1.如何记录消费者的购买情况？该书销售情况，证券交易类，金融类，经管类图书销售情况？时间维度，产品类型。2.如何将向该消费者推荐其他产品？3.如何发现该类图书的潜在客户群体？,1.1 商务智能的基本概念,1.1.2 商务智能的发展与应用1商务智能的发展从20世纪60年代计算机用于管理信息处理开始，经过40多年的发展，信息处理技术的发展经历了电子数据处理系统（EDPS，Electronic Data Processing System）、管理信息系统(MIS，Management
5、Information System)和决策支持系统(DSS,Decision Supporting System)等阶段。,1.1 商务智能的基本概念,2商务智能的作用作用主要体现在理解、改善、衡量和创造四个方面。3商务智能的作用域战略管理、营销管理、市场管理、客户关系管理和风险管理等。,1.1 商务智能的基本概念,1.1.3 商务智能的体系结构 商务智能体系架构主要有比尔恩门的信息工厂，扎克曼的企业体系结构，美国数据仓库研究院的商务智能体系结构以及加特纳公司的商务智能体系结构等。这些体系结构中均包含了商务分析、OLAP、数据挖掘和数据仓库四大部分（图1.1）。,1.1 商务智能的基本概念,
6、1.2 数据仓库的发展与展望,1.2.1 从传统数据库到数据仓库1.决策处理的系统响应问题2.决策数据需求的问题（内外部，集成，清洁，实体统一，部分非结构化，历史沿革信息）3.决策数据操作的问题4.数据仓库与传统数据库的对比,1.2 数据仓库的发展与展望,表1-1 数据仓库与数据库对比表,用户和系统的面向性面向顾客（事务）VS.面向市场（分析）、适用知识工人数据内容当前、详细数据(不利于决策)VS.不同粒度、历史的、汇总的数据。数据库设计实体联系模型(ER)和面向应用的数据库设计 VS.星型/雪花模型和面向主题的数据库设计,数据视图当前的、企业内部的数据 VS.经过演化的、集成的数据访问模式事
7、务操作 VS.只读查询（但很多是复杂的查询）任务单位简短的事务 VS.复杂的查询访问数据量数十个 VS.数百万个,用户数(与企业规模相关)数千个 VS.数百个数据库规模100M-数GB VS.100GB-数TB设计优先性高性能、高可用性 VS.高灵活性、端点用户自治度量事务吞吐量 VS.查询吞吐量、响应时间,1.2 数据仓库的发展与展望,1.2.2 数据仓库的定义与基本特性William H.Inmon在1993年所写的论著Building the Data Warehouse则首先系统性地阐述了关于数据仓库的思想、理论，为数据仓库的发展奠定了历史基石。在文中，将数据仓库定义为：“一个面向主题
8、的、集成的、随时间变化的、非易失性数据的集合，用于支持管理层的决策过程”。,1.2 数据仓库的发展与展望,1.面向主题性面向主题性表示了数据仓库中数据组织的基本原则，数据仓库中的所有数据都是围绕着某一主题组织的。根据决策问题确定主题。确定主题以后，需要确定主题应该包含的数据。（并非所有 业务数据都能进入数据仓库的主体中）不同的主题之间可能会出现相互重叠的信息。主题在数据仓库中可以用多维数据库方式进行存储。（数据结构）主题的划分中，必须保证每一个主题的独立性。,1.2 数据仓库的发展与展望,2.数据集成性 根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，最终集成到数据仓
9、库中。数据来源广泛：OLTP,ERP,EC,异质性数据库.3.数据的时变性 数据应该随着时间的推移而发生变化。不断地生成主题的新快照 4.数据的非易失性数据不进行更新处理,1.2 数据仓库的发展与展望,5.数据的集合性按照主题，以多维数据库方式进行存储的多维模式、以关系数据库方式进行存储的关系模式或以两者相结合的方式进行存储的混合模式。集合性即数据的闭合性，能够提供主题分析的全部数据信息。6.支持决策作用,1.2 数据仓库的发展与展望,1.2.3 数据仓库的发展1.基于关系对象数据库的数据仓库2.网络的影响3.操作型动态数据仓库4.Web应用中的多智体技术,1.3 数据仓库的体系结构,1.3.
10、1 数据仓库的概念结构数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具（图1.2）。,1.3 数据仓库的体系结构,1.3 数据仓库的体系结构,1.3.2 虚拟数据仓库结构不需要从业务系统中抽取数据到新的数据存储位置数据仓库中,1.3 数据仓库的体系结构,1.3.3 数据集市结构,1.3 数据仓库的体系结构,1.3.4 单一数据仓库结构,1.3 数据仓库的体系结构,1.3.5 分布式数据仓库结构,1.4 数据仓库的参照结构,数据仓库的基本功能包含：数据抽取，数据筛选、清理，清理后的数据加载，设立数据集市，完成数据仓库的查询、决策分析和知识的挖掘等操作。数据仓库的
11、管理层分成数据管理与元数据管理两部分，主要负责对数据仓库中的数据抽取、清理、加载、更新等操作进行管理。数据仓库环境支持层包含数据传输和数据仓库基础两部分。,1.4 数据仓库的参照结构,1.4.1 数据仓库基本功能层1.数据仓库的数据源 业务数据、历史数据、办公数据、Web数据、外部数据以及数据源元数据,1.4 数据仓库的参照结构,2.数据准备区功能结构,元数据类型,基于应用，可以将元数据分成以下的若干种。数据结构：数据集的名称、关系、字段、约束等；数据部署：数据集的物理位置；数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则；质量度量：数据集上可以计算的度量；度量逻
12、辑关系：数据集度量之间的逻辑运算关系；ETL过程：过程运行的顺序，并行、串行；数据集快照：一个时间点上，数据在所有数据集上的分布情况；星型模式元数据：事实表、维度、属性、层次等；报表语义层：报表指标的规则、过滤条件物理名称和业务名称的对应；数据访问日志：哪些数据何时被何人访问；质量稽核日志：何时、何度量被稽核，其结果；数据装载日志：哪些数据何时被何人装载；,1.4 数据仓库的参照结构,3.数据仓库功能结构,1.4 数据仓库的参照结构,4.数据集市/知识挖掘库结构,1.4 数据仓库的参照结构,5.数据仓库的数据存取与使用结构,1.4 数据仓库的参照结构,1.4.2 数据仓库的管理层1.数据仓库的
13、数据管理层,1.4 数据仓库的参照结构,2.数据仓库的元数据管理层,1.4 数据仓库的参照结构,1.4.3 数据仓库的环境支持层 1)数据仓库的数据传输层,1.4 数据仓库的参照结构,2)数据仓库的基础层,1.5 数据挖掘技术概述,1.5.1 数据挖掘的发展发展原因主要有：超大规模数据库的出现、先进的计算机技术、经营管理的实际需要和数据的精深计算能力,1.5 数据挖掘技术概述,1.5.2 数据挖掘的定义1.数据挖掘的技术定义数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们所不知道的、但又是潜在有用的信息和知识的过程。2.数据挖掘的商业定义一种崭新的商业信
14、息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转化、分析和模式化处理，从中提取辅助商业决策的关键知识,1.5 数据挖掘技术概述,1.6 数据挖掘技术与工具,1.6.1 常用数据挖掘技术1.传统分析类线性分析和非线性分析、回归分析、逻辑回归分析、单变量分析、多变量分析、时间序列分析、最近邻算法和聚类分析等技术。2.知识发现类人工神经网络、决策树、遗传算法、粗糙集、规则发现、关联顺序等。3.数据挖掘技术的发展文本数据挖掘、Web数据挖掘、可视化系统、空间数据挖掘和分布式数据挖掘技术等。,1.6 数据挖掘技术与工具,1.6.2 常用数据挖掘工具1.按使用方式分类的数据挖掘工具决策方案
15、生成工具、商业分析工具和研究分析工具三大类。2.按数据挖掘技术分类的数据挖掘工具基于神经网络的工具、基于规则和决策树的工具、基于模糊逻辑的工具和综合性数据挖掘工具等。3.按应用范围分类的数据挖掘工具专用型数据挖掘工具和通用型数据挖掘工具。,1.6 数据挖掘技术与工具,1.6.3 数据挖掘工具的评价标准1.模式种类的数量2.解决复杂问题的能力3.操作性能4.数据获取能力5.挖掘结果的输出 6.噪声数据的处理及挖掘工具的鲁棒性,1.6 数据挖掘技术与工具,1.6.4 常用数据挖掘工具选择从工具的实用性和技术性方面进行考察,1.7 数据挖掘的应用,1.7.1 数据挖掘与数据仓库 大多数数据挖掘工具需
16、要在集成的、一致的、经过清理的数据上进行挖掘。在数据仓库的构造过程中已经围绕数据仓库组建了包括：数据存取、数据集成、数据合并、异种数据库的转换、ODBC/OLE DB的连接、Web访问和服务工具以及报表与OLAP分析工具等全面的数据处理和数据分析基础设施。数据仓库中的OLAP完全可以为数据挖掘提供有关的数据操作支持 数据挖掘与数据仓库的应用已经紧密地捆绑在一起,1.7 数据挖掘的应用,1.7.2 数据挖掘过程 数据挖掘过程一般需要经历：确定挖掘对象、准备数据、建立模型、数据挖掘、结果分析与知识应用这样几个阶段。,1.7 数据挖掘的应用,确定挖掘对象|准备数据|模型建立|数据挖掘|结果分析|知识应用,应用方案 知识 商业模式 预处理数据 目标数据 集成数据 源数据 业务对象,业务分析人员|数据管理人员|数据分析人员|业务分析人员,1.7 数据挖掘的应用,1.7.3 数据挖掘的用户业务分析人员、数据分析人员和数据管理人员。,
