《数据仓库和数据挖掘概述.ppt》由会员分享,可在线阅读,更多相关《数据仓库和数据挖掘概述.ppt(35页珍藏版)》请在三一办公上搜索。
1、数据仓库和数据挖掘,DATA WAREHOUSING AND DATA MINING经济科学室验室2004.6,主要内容,数据仓库简介 数据挖掘简介ORACLE 数据仓库和数据挖掘解决方案,什么是数据仓库?,数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。,数据仓库与数据库的区别,数据仓库的体系结构,什么是数据挖掘?,数据挖掘是一个利用各种分析方法和分析工具在大规模海量数据中建立模型和发现数据间关系的过程,这些
2、模型和关系可以用来做出决策和预测。,顾客数据到处都是,谁才是我的顾客?,销售信息,市场信息,订单目录,市场数据库,库存信息,客服信息,数据挖掘能做些什么?,数据特征化和数据区分 关联分析 分类和预测 聚类分析 孤立点分析 演变分析,数据挖掘的常用方法,决策树 相关规则 神经元网络 遗传算法 可视化 OLAP联机分析处理 统计方法,ORACLE 数据仓库和数据挖掘 解决方案,Oracle 提供的数据仓库工具 及其功能介绍,Oracle数据库 SQL*Loader工具Oracle Warehouse Builder(OWB),Oracle9i 数据库,一个对象关系型数据仓库,用于存储大量的数据。,
3、SQL*Loader工具,用于将数据装载到数据仓库中。这些数据包括Oracle数据库中的数据,其他数据管理系统中的数据和外部数据。开发人员可以利用这两种工具将多种数据源融合在一个单一的存储系统中,并加以管理,从而为最终用户提供对这多种数据源的无缝访问。,Oracle Warehouse Builder,OWB是Oracle Developer Suits 中的一个组件,是用于设计、实现、和管理企业数据仓库和数据集市的集成系统。通过向导驱动的用户界面来进行数据映射、元数据导入,利用预定义的转换库,能够减少设计和实施时间。自动生成代码,并且通过校验程序保证编码的正确性和唯一性,按照部署的要求生成不
4、同的编码类型。,Oracle Warehouse Builder,提供可视化的直观映射和转换工具、对多维数据的拖放功能,以及一个用于管理仓库的系统外门户解决方案,降低设计和开发数据仓库和数据中心的复杂度。OWB为事实表和维度表提供向导和图形编辑器。OWB全面应用Oracle9i 的分区、索引和总结管理等特性,与数据库的紧密集成允许Oracle9i 作为一种转换引擎使用,排除了增加转换服务器的需求。,Oracle Warehouse Builder,利用OWB组件文件集成器,实现从文本文件中提取数据。OWB包括一个全局共享库(Global Shared Library),用于存储可重复使用的转换
5、。OWB软件还包括Oracle Pure Integrate 和OWB Integrator for SAP R/3,前者是将数据客户集成以形成战略性电子商务项目基础的软件,后者是对SAP特有的ERP数据进行强有力报表制作和分析的集成桥梁。,OWB的开发过程,逻辑数据库的定义数据仓库的构架商业结构数据源和目标提取、转换和装载操作的映射,OWB的开发过程,物理数据仓库实例的配置、合法化和部署DDL脚本,用于创建数据仓库和框架对象之间的关系PL/SQL、SQL*Loader 和Tcl脚本,用于提取数据、映射和转换数据,然后将其装载到物理实例中,OWB的开发过程,装载和管理Oracle Enterp
6、rise Manager,用于调度单个工作或是Oracle Workflow进程。,Oracle 提供的数据挖掘工具 及其功能介绍,Oracle9i Data Mining Oracle9i OLAP 工具集Oracle Discoverer Oracle Express系列Oracle Express Analyzer Oracle Express Objects Oracle Express Server,Oracle9i Data Mining,提高应用软件的预测力和洞察力将数据挖掘功能嵌入 Oracle9i 数据库中 基于 Java 的 API,Data Mining,提高应用软件的预
7、测力和洞察力,利用DM,公司能够构建高级商务智能应用程序、对公司的数据库进行挖掘、发现新的有用信息并将其集成到商务应用程序中。利用DM,公司能够提高在客户关系管理(CRM),企业资源计划(ERP),网页入口和无线应用等商务智能方面的能力。鉴别最有利可图的消费者,避免客户流失 获得新客户,对已有客户进行交叉销售 检测欺诈行为 预测零件质量 寻找病人、药品和疗效之间的关系,数据挖掘功能的内嵌,Oracle9i Data Mining 将数据挖掘功能嵌入 Oracle9i 数据库中,用于分类、预报和关联。所有的模型构建、评分、以及元数据管理操作经由基于 Java 的 API 来启动并完全在该关系数据
8、库中发生。采用贝叶斯法则进行预测和分类 运用关联规则检测隐藏于数据库中“相关”或并发事件 自动提取商务信息并将其整合在其他应用软件之中,基于 Java 的 API,商务智能(BI)开发人员可以使用基于Java的应用程序接口(API)来开发基于预测的应用软件。自动执行数据挖掘进程,为消费者打分以及产生需求预测。通过查询、分析和报表生成器产生新的数据挖掘信息。支持应用程序的集成。,Oracle9i OLAP工具,企业级OLAP可将跨部门的数据紧密地联系在一起,从而使所有用户在一个共同的信息基础上。它帮助用户使用数据仓库中的所有数据。企业级OLAP还能够超越数据仓库的范围,集成来自其它独立系统的数据
9、,这些系统可能是关系型数据库或者外部的文件系统。这种集成使得新型应用,如:基于事实的促销、基于行为的定价以及产品利润分析等能够跨越单一部门的界限。,Oracle Discoverer,是Oracle公司面向 决策支持系统OLAP工具集的组成部分。它是一个直观的随意查询、报告、搜索和Web公布的工具。它能够帮助公司内部各个层次的商业用户,获得迅速访问关系型数据库、数据中心或者联机事务处理系统中数据的能力。,Oracle Discoverer,User Edition提供了超乎寻常的易用性,通过任意深入能力、旋转和图表,给予用户强大的数据探索能力。Administration Edition提供了
10、一个易于使用的基于服务器的强大的最终用户层(End User Layer)。对于那些需要集中精力处理商业问题而不是数据问题的最终用户而言,End User Layer为他们隐藏了数据结构和相互关系的复杂性。,Discoverer 支持下面的新特性:,自动摘要管理oracle 应用的支持标志改变计划业主分析功能,Oracle Express系列,通过使用Oracle Express:分析咨询人员能够很轻松地从各自的视角观察数据 产品经理能够跨越许多时间段和市场区域研究她负责的某个产品 财务经理可以集中在当前或者以前的时间段,研究所有的市场和产品 地区经理可在某些地区的所有时间段上考察所有产品 策
11、略规划人员可以集中在公司数据的某个集上,如在当前和下个季度,仅在西部地区销售的某个新产品。,Oracle Express Analyzer,通用的、面向最终用户的报告和分析工具,它采用面向对象技术,在Oracle Express Analyzer中能运行任何Oracle Express Objects应用。在Oracle Express Analyzer的一个基石性对象是简报(briefing)。一个简报由若干页组成,每一页上包含由可重用的对象建立的面向主题的分析。这些对象是交互的、用户能够旋转、深入和查询任何一张简报页中的表格或者图形,以运行他们自己的即席分析。,Oracle Express
12、 Objects,是最早出现的用于建立C/S上OLAP应用的面向对象的可视化开发环境。提供图形化建模和假设分析功能。通过使用标准的Microsoft对象连接嵌入技术(OLE),实现对第三方软件开放。例如能够使用一个OLE控件显示销售某公司产品的商店。通过使用代理程序、预警程序和OLE控件,可以监控存货水平,当存货水平下降时向管理人员报警,自动提高主要产品的存货水平。,Oracle Express Server,是一个先进的计算机引擎和数据高速缓存。支持最能反应用户对其业务思考方法的多维模型,而且具有分析、预测、建模,以及对数据进行假设分析(what-if)的能力。具有用于数学、财务、统计和时间
13、序列管理等方面的内置功能。,Oracle Express Server,具有伸缩性、强健性和基于应用的特性,支持多个用户访问,并且为大型数据库实现数据完整性控制。Oracle的开放策略允许实施企业OLAP的公司自由选择所需的关系型数据库、开发工具和用户界面,其中包括用户化的Windows前端、电子表格和WWW,从而获得最大限度的灵活性。,Oracle 开发工具简介,Designer提供了在RAD风格的用户界面下开发企业Web应用和客户/服务器应用的集成式解决方案。Developer提供有一个集成式工具集,能够实现企业的Internet计算环境Jdeveloper 一种高效的3GL编程工具,可用来为客户应用建立数据敏感的Java部件,Oracle 开发工具简介,Programmer 为应用编程人员提供一套完整的编程接口和全面的应用开发解决方案 Reports 用于企业范围内进行“高逼真度”的Web数据库发布和报告,谢 谢,