《北京移动商业智能平台的分析与设计.doc》由会员分享,可在线阅读,更多相关《北京移动商业智能平台的分析与设计.doc(74页珍藏版)》请在三一办公上搜索。
1、北京移动商业智能平台的分析与设计.txt“我羡慕内些老人羡慕他们手牵手一直走到最后。交话费的时候,才发现自己的话那么值钱。北京邮电大学硕士学位论文北京移动商业智能平台的分析与设计姓名:刘莉申请学位级别:硕士专业:软件工程指导教师:宋茂强20080601北京移动商业智能平台的分析与设计摘要商业智能是企业对商业数据的搜集、管理和分析的系统过程,目的是使企业的各级决策者获得知识或洞察力,帮助他们做出对企业更有利的决策,从技术层面上讲,BI是数据仓库、OLAP和数据挖掘等技术的综合运用。目前,商业智能已经在电信行业获得了广泛的应用, 随着电信业的发展,许多电信公司建立了CRM、经营分析系统等大型的信息
2、系统,积累了大量的客户数据和信息,但是对数据和信息的提取、分析、评估及应用于决策方面的问题目益增加,从而造成了大量高价值的数据不能发挥效用。 北京移动已经成功实施了CRM、BOSS和BASS系统,为了实现信息系统之间数据向知识的转化,增强数据的提取、分析、评价和决策应用,采用商业智能技术是一种比较好的选择。本文对商业智能关键技术进行了分析与研究,对商业职能平台进行了设计。本文主要做了以下工作: 分析商业智能在电信行业的应用和研究现状,从北京移动的信息化现状出发,提出建设商业智能平台的目标和内容。以北京移动已有的CRM、BOSS、BASS系统为背景,对商业智能平台进行分析和设计,从数据源、业务和
3、功能需求出发,设计了BMCC BI 平台,包括ETL部件、仓库部件、OLAP部件、调度系统和前台系统五大模块,通过系统需求分析、系统设计、系统实施等内容展现了BMCC BI平台分析和设计的全过程,在平台实施成功后,通过数据分析和界面演示证明了平台的可用性。, 关键词: 商业智能数据仓库ETL数据挖掘联机分析处理ANAI,YSIS AND DESIGN OF BUSINESS IN咂LLIGENCE PI,A皿ORM IN BEIJING MOB。E CON皿lANY Busin麟intelligence 03I)is the proems of collection,management an
4、d analysis ofbusiness data in enterprises,its purpose is to help decision-makers in enterpIdses to 舻lin knowledge or insight,and then to do more beneficial decisions,from the technology tier,BI is the synthetical application of data warehouse,OLAP and data miningAt present,谢th the development of tel
5、ecommunication industry,business intelligence has already gained broad application in this i琢tustry,lots of telecommunication companies have built largo-scale information systems such as CRM,operation analysis systems,and accumulated large amount of data and information of customers,however,problems
6、 of the retrievinganalyzing and assessing of them so to be applied to decision making increase gradually,and leads to the ineffective ofmuch data and information Beijing mobile company of China(BMCO has already successfully applied CRM,BOSS and BASS systems,in order to increase the transformation fr
7、om data to knowledge in MIS,and improve the retrieving,analyzing,assessing and decision making applications,the application of BI is an most optimal choiceFrom the problems We fist out,and taking the application of business intelligent in BMCC as study background,We did an analysis and research 011
8、key technologies,analysis and design of BI platform,The main jobs We did is as following: Analysis of the business intelligence application in tdecommunication industry and its c脚rent situation,from the informatization situation in BMCC,the targ吒contents and significance of building BMCC BI platform
9、 is studied Taking the construction of CRM,BOSS,BASS in BMCC嬲study background, the analysis and design of BMCC BI platform has been completed,from the demands of data SOUrCe,business and function,five modules were design on the platform:ETL component, warehouse component, OLAP component,dispatching
10、module and proscenium moduleThrough the steps of system demand analysis,design, implementation etc,the analysis and design of BMCC Bl platform process has been demonstrated,after the implementation ofour system,the availability of platform has been proved by data analysis and interface displayKEYWOR
11、DS-business intelligence,data warehouse,ETL,data mining, online analysis processing独创性(或创新性)声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处,本人承担一切相关责任 廖 本人签名: 2l笙! 日期: 型星
12、:亟:塑关于论文使用授权的说明本人完全了解北京邮电大学有关保留和使用学位论文的规定,即:研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许学位论文被查阅和借阅;学校可以公布学位论文的全部或部分内容,可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。本学位论文不属于保密论文,适用本授权书。本人签名: 亟垄导师签名: 日期:11研究背景第一章绪论材料、信息和能源已经发展成为世界三大资源,随着信息技术的长足发展和企业信息化的广泛开展与应用,许多企业在信息化过程中通过建立物料需求计划(职P)或制造资源计划(MRPII、企业资
13、源计划(ERP)、客户关系管理(CRM)等管理信息系统,积累了大量业务数据,然而多数的管理信息系统(MIS)都只是对指定的数据进行简单的数字处理,从中获取统计和查询信息,而不能对这些数据所包含的内在信息进行提取,进而获得对企业竞争有利的信息。企业在处理信息时往往会遇到一些问题,主要有三点。首先,所有的数据储存在现有的信息系统中, 但无法在适当时机提取和使用这些资料;第二,在企业的系统中,评估及分析信息的工具和应用程序不足;最后,各级决策者往往浪费太多的时间寻找正确的信息以协助他们处理日益增加的问题。商业智能(Business Intelligence,简称BI),最早由美国权威顾问咨询公司Ga
14、rtner Group提出,当时定义为一类由数据仓库或数据集市、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的,以帮助企业决策为目的的技术及其应用。从用途来看,它是将企业中现有的数据转化为知识, 帮助企业做出正确的业务经营决策的工具n1从技术层面讲,BI是数据仓库技术,OLAP(联机分析处理)技术和数据挖掘技术的综合应用。商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处,为企业作业层、战略层和战术层决策提供依据圆。目前,各电信公司在市场上竞争异常激烈,利润增长空间已变得日益窄小 在这种情形下,移动通信企业作为电信
15、市场的重要力量,必须以最少的资源发挥最大的性能,高效地提取企业业务数据中的管理信息,从而快速做出决策,提高企业的核心竞争力。近年来,国内的不少电信企业陆续投资建设CRM、ERP、经营分析系统等管理信息系统,这些系统给企业的管理提供了很多有益的基础数据。对于电信运营商来说,随着电信业计算机业务系统的长期和广泛使用,这些企业已拥有大量的客户和业务数据,为实施商业智能解决方案奠定了基础。在此基础上,只有那些利用先进的信息技术成功地收集、分析、理解信息并依据信息进行决策的企业才能获得竞争优势,这就使得商业智能应用有了用武之地。电信运营商的管理者需要借助商业智能技术来发现商业运营过程中存在的问题,找到有
16、利的解决方案。由此对商业智能的研究具有十分重要的意义,实施商业智能方案成为移动通信行业提升核心竞争力的有力途径 据资料显示2002年中国电信BOSS(Business&Operation Support System, 业务运营支撑系统)市场规模高达60亿元,占当年我国主要电信运营商设备投资总额的7,中国电信、中国网通、中国移动和中国联通四大电信运营商纷纷高举BOSS建设大旗,其目的自然是为了提高客户服务以及计费系统的业务支持能力在此基础上,中国移动在2003年又率先开始建设BASS (Business&Analysis Support System,业务分析支撑系统),用以分析来自31 个省
17、级机构和总公司的业务数据。由NCR Teradata和亚信公司共同合作实施这个项目。随后,中国联通和中国电信也相继开始相关系统的建设,从BOSS到BAsS, 商业智能正一步步走入中国的电信行业,并且越来越受到电信运营商的关注。中国电信业目前已经建立起大量的计算机应用系统,如计费、营业、账务、网管和各种业务等,这些系统使电信企业的生产效率得到了大幅度的提高,为进行高质量的服务提供了有效的保证,但这些系统仍然有许多不足之处,如信息孤岛、系统孤立、数据不能得到很好的利用、缺乏动态捕捉市场机会和发现企业所存在问题的机制等问题。从中国移动集团公司的业务支撑系统建设要求和北京移动的本地现状来看, 目前BI
18、系统已经在中国移动内部发展成为即BOSS、oC删之后的第三大生产系统, 承担了公司大量的业务统计和分析需求,各省公司充分利用BI数据仓库和专题分析的优势为新业务的上线提供了“运营决策支持,为业务推广和发展亦提供了深入和专业的数据模型分析。从公司发展角度来看,公司面临的用户规模庞大、业务种类和计费项目复杂、存储设备品牌繁多等问题,都对软件提供商的解决方案提出了更高的要求。北京移动从关注运营情况、账单情况、网络建设情况逐渐转变为关注用户感受、业务创新、利润增长点等方面,希望能够从计费、网络、用户等繁杂数据中提炼有效信息、并为企业提供统计和预测帮助的智能分析软件,成为北京移动必不可少的商业工具 12
19、 Bl研究现状分析在商业智能系统的研究过程中,人们综合应用了各种信息处理技术,一些公司和院校也相继开发了许多商业智能系统软件,有的已投入了使用。但是仍旧存在如下问题: (1)现有的商业智能系统大都通过OLAP的方式处理企业内部的RDBMS数据 这种数据的特点是结构化强,容易抽取、转换和装载。但是对广泛分布在Internet上的Web页数据的处理无能为力,Web数据处理的难点在于:它的数据是半结构化甚至是异构的;更新速度快目前的商业智能系统对于后者缺乏一种2行之有效的代理技术来跟踪监测Web数据的变化。(2)商业智能系统中数据分析功能必不可少,但是现行系统的这部分分析功能大都集中在制作形式丰富的
20、各种报表上,而忽略了提供图形化、报表化的分析功能。使得分析停留在静止状态,无法动态的进行。(3)易用性不强,商业智能系统的数据分析软件在进行数据的分析处理过程中都需要一定的专业知识,操作的步骤复杂需要人工输入一些查询、参照、比较的条件等。使用户无法将精力集中在业务分析上 因此,如何根据企业的应用需求,设计出满足实际需要、功能完善的商业智能系统仍然是商业智能系统研究工作中的重中之重 121国内外电信业BI研究现状电信行业信息化历程较长,现代电信行业的发展都伴随着信息化的发展而进一步提升和加强。随着企业信息化的不断深入,企业积累了大量的数据。长期以来这些数据只能储备起来,并没有加以利用,庞大的数据
21、往往成为企业巨大的“历史包袱一。如何利用历史数据对企业未来发展提供帮助,在电信企业中显得尤为突出。带着这样的问题,众多电信企业开始了数据分析系统或者商业智能的建设。在国外,AT&T、西南贝尔、英国电信等多家国际知名电信公司均已完成了商业智能系统的建设。这些系统为企业提供了高效的数据分析手段,帮助企业在瞬息万变的市场环境中准确、及时地把握那些稍纵即逝的商机,获得了极大的投资回报。在国内,中国移动、中国电信已经相继开始了基于数据仓库技术的商业智能解决方案(经营分析系统)的探索和实施,中国联通、中国网通等电信企业也紧随其后,开始了经营分析系统的筹划工作。目前,国内电信企业对商业智能或经营分析系统的应
22、用时间还比较短,主要为初、中级的使用方式,仍以报表、指标为主 (1)基础型指标及统计报表:指标和报表的统计分析是业务用户最初所能想到并最具可用性的功能之一,主要展现企业所关心的关键业务指标。目前的系统主要涉及用户发展统计、话务量统计、ARPU(Average Revenue Per User)、MOU(Minutes Of Usage)指标以及网络运行情况指标等。但这并不是经营分析系统的主要目的,它只能为企业提供结果信息,是一种被动的数据统计和监控手段。(2)分析型报表和多维数据分析:分析型报表和多维数据分析是经营分析系统的基本应用方式。使用者能够通过多角度对某些数据指标进行观测和分析,寻找各
23、种数据属性之间的关系及其对数据本身的影响。除了常规的客户数、产品及消费、话务量及分布分析、网络流量、流向分析等功能之外,各类数据之间的关联性分析方面的应用逐渐开始增加。此外,电信企业中的用户信息很容易通过网间通话的形式在不同运营商之问流露,因此对竞争对手的分析是每个企业都非常重视的。制定有效策略、防范客户流失、争取对方客户,在电信企业中应用最为3广泛,成效也相对明显 商业智能的高层次应用数据挖掘的应用则刚刚起步。数据挖掘是从大量数据中发现隐含的模式。这是一个年轻的跨学科领域,源于诸如数据库系统、数据仓库、统计、机器学习、数据可视化、信息提取和高性能计算。近年来,数据挖掘在国内电信企业的应用逐步
24、深入,主要涉及对客户流失的预测、客户信用度的评估、预警等企业非常关心的内容。正是由于国内的商业智能应用还处于初级阶段,因此在商业智能系统的实施过程中在所难免地存在一些问题: 首先是数据问题:由于商业智能系统的数据来源于计费、营业、客服、网管等多种业务系统,在各种源数据的整合过程中经常发现不同系统中的数据不一致,同时源数据的质量问题也比较突出。这需要在系统建设和使用过程中不断进行修正和补充,从而逐步完善并最终解决系统的数据质量问题。其次是业务问题:现阶段,由于用户对商业智能系统的建设目标、规划等还比较模糊,提出的业务需求和想法比较杂乱,这样对系统的建设会产生较大的影响。因此,需要有丰富系统实施经
25、验的团队协助企业明确目标,制定合理的业务需求,进行合理的系统规划,在系统的建设过程中还需要能够及时发现和解决隐患,有效预测和规避实施风险,引导系统沿着正确的方向发展。最后是使用问题:在商业智能系统应用初期,使用者对于新的数据分析工具、方法还比较陌生,加之系统建设初期出现的数据和业务闯题,导致使用者对系统的信任度不高。因此在合理解决系统数据和业务问题的同时,企业也应采取有效的方式提高商业智能系统的使用率,并通过系统使用者的反馈,促进系统数据和业务问题的解决。1Z 2商业智能在电信行业的具体应用(1)市场竞争运营商之所以大规模建设业务分析支持系统,主要是为应对激烈的市场竞争。目前,在国内电信市场,
26、运营商之间的业务竞争不仅在资费价格战上打得火热,而且在新业务的推出方面也是争先恐后,通过这些竞争手段,运营商之间相互挖掘和争夺有限的客户资源,这就使得运营商的客户流失率增大。为了保住客户资源,运营商需要一套业务分析支持系统,以从自身市场数据中获得能够真正反映企业运营状况的有效信息。(2)信息整合实施BOSS等支持系统给电信行业解决“信息孤岛一的顽疾带来一次良机。在中国电信业已经建立起的大量计算机应用系统,如计费、营业、账务、网管和各种业务系统中, 一方面这些系统使电信企业的生产效率得到了大幅度的提高, 为进行高质量的服务提供了有效的保证, 另一方面这些系统仍然有许多不足之4处,如系统孤立、数据
27、不能得到很好的利用、缺乏动态捕捉市场机会和发现企业所存在问题的机制。电信企业需要构建商业智能平台来满足需要, 重构企业的核心竞争力 (3决策支持从管理层的角度来看,如何利用庞大用户市场中产生的海量数据,进行整合、筛选并最终形成供管理者使用的报表是迫切需要解决的问题。而现有的计算机业务管理系统各成体系, 互不关联, 不能形成整体有效的决策信息, 管理者只能得到一些简单、分散的数据和报表。因此只有先将数据进行整合,然后在此基础上进行分析,才能为企业高层提供诸如企业关键业绩指标KPl分析、竞争对手分析、新业务可行性分析、投资收益分析等信息和知识 “)防范风险中国电信的市场庞大也注定其复杂多变的特性,
28、因此实施BOSS等系统, 可以加强电信企业对重大事件、重点业务的动态跟踪和监控,加快市场反应速度, 增强市场竞争力,如能够及时发现某项业务收入大幅度滑坡,并分析事件发生的原因,从而快速采取措施,以避免更大的损失 (5)客户关系商业智能系统通过分析用户和业务资料,帮助电信企业了解用户的消费需求和消费习惯,提供定制的业务,同时防止欠费和欺诈行为,增加企业收益。做为在运营性CRM的基础上,商业智能使电信企业更进一步,实现分析性C蹦,其中包括用户分类、用户价值评估、用户信用度分析、大客户管理、通话行为分析、欠费行为分析、欺诈行为分析、用户流失分析、业务受理分析、用户投诉分析、高额话单分析等。此外还可以
29、通过网络性能分析、未接通呼叫分析、用户投诉分析等等来保证企业的服务质量,建立良好的客户关系, 提高客户的忠诚度和满意度,构建企业的客户资源。(6)营销策略商业智能系统的重要功能之一就是帮助企业分析现有营销策略的效果,并据此制定新的方案。其中包括用户发展分析,优惠策略预测和仿真、套餐服务分析、促销分析等等。其目的是对各类市场营销活动的成本和收益进行评估,提高营销活动的有效性。13研究内容、目的及意义131研究内容商业智能是利用当今计算机前沿技术作支撑、运用现代管理技术进行指导的应用系统,从北京移动的现状出发,本文针对商业智能的研究内容主要集中在以S下三个方面:支撑技术的研究、体系结构的研究、应用
30、系统的研究。(1)支撑技术的研究:以北京移动建设的BOSS3平台、C跳等信息系统为基础, 分析与BI相关的计算机技术,主要包括数据仓库技术、数据挖掘技术、OLAP等技术;同时从移动通信企业管理的特点出发,包括:统计、预测等运筹学方法; 客户管理、供应链管理、企业资源计划等管理理论和方法;企业建模方法等,结合计算机技术和企业管理的特点展开研究 从数据仓库的建立、数据挖掘关联规则、联机分析处理,信息管理方面数据收集、整理、分析和预测各个方面整合,利用Java、J2EE、Data Mining、ETL、DB2、Essbase70、Tomcat等工具和环境,实现对商业智能平台数据、功能、技术三个方面的
31、研究 (2)体系结构的研究北京移动商业智能平台基于BI的三大核心技术,建设包括外部源系统层、ODS层、基础数据层、业务处理层和前台显示层,五个层次的平台体系架构,以ODS层、基础数据层和业务处理层为系统核心,开发了ETL部件、数据仓库部件、OLAP部件、调度系统和前台系统五个功能模块。北京移动BI体系的全面整合, 构建起统一的数据仓库体系,满足北京移动内部各类报表需求,带动北京移动多维数据分析发展。(3)应用系统的研究商业智能被广泛应用于与企业运营过程相关的各个领域,并且在很多领域己经形成其特有体系。目前具有代表性的应用领域包括:企业资源计划(ERP)、客户关系管理(CRM)、企业性能管理(B
32、PM)、人力资源管理(H跚)、供应链管理(SCM)、电子商业(E-business)。商业智能平台研究一般由数据源,包括运营系统和外部数据;数据评价和数据筛选;数据抽取、转换和装载(ETL); 数据仓库;调度和处理;用户访问工具、包括查询、报表、多维分析、数据挖掘等等;元数据管理;系统管理等部分组成。本文从平台架构设计、数据库设计、网络设计、前台维护系统设计,通过系统实现和应用效果分析,展开对商业智能应用系统方面的研究。132研究目的和意义从技术角度看,商务智能的过程是企业的决策人员以企业中的数据仓库为基础,经由联机分析处理工具、数据挖掘工具加上决策规划人员的专业知识,从数据中获得有用的信息和
33、知识,帮助企业获取利润。从应用角度看,商务智能帮助用户对商业数据进行联机分析处理和数据挖掘,例如预测发展趋势、辅助决策、对客户进行分类、挖掘潜在客户等等。从数据角度看,商务智能使得很多事务性的数据经过抽取、转换之后存入数6据仓库,经过聚集、切片或者分类等操作之后形成有用的信息、规则,来帮助企业的决策者进行正确的决策。对商业智能的深入研究具有以下几个方面的意义:一是能够使用各种统计分析手段帮助理解和观察业务发展情况;二是可以有提供业务人员所关心的各种业务分析;三是可以与主要决策者协调工作,制定商业智能的短期、中期和长期的开发计划;四是可以及时评估商业智能带来的企业价值 对北京移动商业智能平台的深
34、入研究具有以下几个方面的意义:一是能够使用各种统计分析手段充分利用和分析北京移动的历史数据,帮助理解和观察客户分析、收入分析、产品服务分析、市场份额分析、服务质量分析以及市场促销分析业务发展情况;二是可以有提供北京移动业务人员所关心的各种业务分析, 提高业务水平;三是可以与主要决策者协调工作,应用分析模型,如客户流失模型、客户价值模型、客户信用模型、价格敏感度模型、产品亲和度模型等制定商业智能的短期、中期和长期的开发计划;四是增值应用服务,建立一些管理模块, 如有关欺诈管理等,可以及时评估商业智能为北京移动公司带来的企业价值。133项目目标和承担工作作者承担任务:本项目由北京移动和亚信公司共同
35、合作开发的,作为商业智能平台软件的用户方,本人将参与需求分析和系统设计的相关工作。需求分析阶段,将调查用户方的具体需求,调研高、中、低各层次的管理者及公司员工在数据处理和业务处理方面的具体需求,同时对C蹦、BOSS等系统存在的缺陷调查整理,整理成为需求分析报告提交项目组。系统设计阶段,本人将辅助亚信公司项目组成员进行系统的逻辑设计和物理设计,主要针对数据处理模块和业务模块的划分进行了进一步的研究和改进 项目目标:(1)整合北京移动C&M、BOSS等系统中存储的客户和产品数据, 对历史数据进行处理从而提取高价值的用于决策的信息。(2)分析和设计北京移动商业智能平台,对北京移动商业智能平台需求进行
36、详细分析,根据需求分析报告对平台进行逻辑设计和物理设计,提出平台实施的体系架构和软硬件设施需求。商业智能平台的设计开发是一项复杂的系统工程,整个项目涉及企业管理、运作管理、信息系统、数据仓库、数据挖掘、统计分析等众多门类的知识。北京移动商业智能平台的技术难点主要包括以下几个方面: (1)数据仓库建模。在对北京移动商务智能系统进行需求分析后,需要建立数据仓库的逻辑模型和物理模型,并规划好平台应用架构,将企业各类数据按照分析主题进行组织和归类; (2)ETL部件设计数据仓库建立后必须将数据从业务系统中抽取到数据仓库中,采用何种耦合方式和定义抽取后的传输协议的实现有一定难度,在抽取的7过程中还必须将
37、数据进行转换,清洗,以适应分析的需要 (3)联机分析处理,OLAP部件设计和前台应用展示 14技术路线BI的三大核心技术是数据仓库(肼)、联机分析处理(oLAP)和数据挖掘(蹦)。数据仓库(DW)是面向主题的、集成的、稳定的、不同时间的数据集合数据仓库是商业智能的基础,它是进行决策分析的数据源数据仓库将来自企业各运行系统数据库中的数据重新组织和整理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,为查询、联机分析处理和数据挖掘提供所需的、整齐一致的数据。
38、联机分析处理(0LAP)是帮助分析人员、管理人员从多种角度对从原始数据中转化出来、能够真正为用户所理解并真实反映数据维特性的信息,进行快速、一致、交互地访问,从而获得对数据的更深入了解的一类软件技术。其重要特点是多维数据分析,这与数据仓库的多维数据组织正好形成相互结合、相互补充的关系。联机分析处理技术中典型的应用是对多维数据的切片和切块、钻取、旋转等,它便于使用者从不同角度提取有关数据,便于对数据进行深入分析和加工, 并以用户想得到的方式来展现数据 数据挖掘(蹦)就是从大量数据中发现潜在规律,提取有用知识的方法和技术。它是一种决策支持过程,它探索和揭示隐藏在数据中尚未被发掘的信息(知识)或模式
39、它主要基于人工智能(AI)、机器学习、统计学、算法(决策树, 聚类,关联算法,分类算法,神经网络等)、数据仓库等技术,高度自动化地分析企业原有的数据,做出归纳性的推理,从中发现数据间的关联,挖掘出潜在的模式,为企业决策者进行微观、中观乃至宏观决策提供数据支持,辅助其调整市场策略,减少风险,做出正确的决策。基于以上三大核心技术的商业智能应具备以下功能: (1)数据管理功能。从多个数据源ETL(抽取、转换、转贮)数据、清洗数据、数据集成能力;大量数据高效存储与维护能力。(2)数据分析功能。具备联机分析处理(0LAP)等多种数据分析功能;终端信息查询和报表生成能力;数据可视化能力。(3)知识发现功能
40、。从大型数据库的数据中提取人们感兴趣的知识的能力。这些知识是隐含的、事先未知的、潜在有用的信息,提取的知识可表示为概念、规则、规律、模式等形式。(4)企业优化功能。辅助企业建模的能力 本文将从商业智能的三大核心技术数据仓库、OLAP、数据挖掘出发,以三大核心技术在商业智能系统中功能应用为切入点,对三大技术的基本构成、开发设计、具体功能应用等方面展开研究,以移动通信行业作为应用研究背景,设计移动企业商业智能系统,通过对其应用效果进行分析得出结论 , 15论文框架本文主要从商业智能在移动通信行业的应用背景出发,针对移动通信企业商业智能系统的需求获取、设计和实旌展开具体研究工作,主要包括以下几个方面
41、: (1)商业智能体系结构研究:从BI的基本概念和构成出发,综述商业智能的基本概念,并统计分析商业智能的市场需求和发展趋势。将商业智能的体系结构作为本部分研究重点,提出商业智能的通用体系架构,并对体系结构各组成部分进行详细分析 (2)商业智能关键技术研究:对商业智能包括的数据仓库、ETL(数据抽取、转换和加载)、OLP和数据挖掘四种关键技术的基本构成和在BI系统中的应用进行具体论述。(3)BI系统应用研究:以移动通信行业为应用背景,通过对商业智能技术在移动通信企业中的需求分析、业务流程分析、系统设计、功能模块设计、系统实施等方面展开研究,建立移动通信商业智能系统 图1-1研究框架9第二章商业智
42、能关键技术研究21商业智能基本概念和体系结构211基本概念商业智能(Business Intelligence,简称BI)的概念最早是Gartner Group于1996 年提出来的旷帕当时将商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用嘲商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。对于商业智能的定义, 目前比较被大家接受的说法是:IDC公司(Internet Data Corporation, 国际数据公司)对商业智能定义为下列工具的集合:数据市场(Data M
43、art)、数据仓库(Data Warehouse)产品, 包括数据转换、管理和存取等方面的预配置软件,通常还包括一些业务模型, 如财务模型等;oLAP工具:提供多维数据管理环境, 其典型的应用是对商业问题的建模与商业数据分析。OLAP也被称为多维分析; 终端用户查询和报告工具:专门用来支持用户的原始数据访问;数据挖掘(Data Mining,DM)软件:通过采用分类、回归、聚类、关联等算法,从大量数据中提取、分析潜在的有用的信息和知识;执行信息系统(EIS, Executive Information System):引入了深层挖掘、趋势分析和排异报告等导航和分析特性,为理解商业发展趋势、识别
44、问题和机遇提供直观、可视化的环境。BI的关键是从许多来自不同的企业运作系统的数据中,提取出有用的数据,进行清理以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、O L A P工具等对其进行分析和处理,最后将知识呈现给管理者,为管理者的决策过程提供支持嘲。商业智能所涉及的技术与应用,在Gartner Group命名之前就有,起初被称为经理信息系统(EIS),在羽化成商业智能之前叫决策支持系统(DSS)。商业智
45、能系统主要包括数据预处理、建立数据仓库、数据分析及数据展现四个主要阶段耵一,商业智能实际上是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合。对该定义的正确理解,从四个层面展开: (1)信息系统层面:这是商业智能系统(BI System)的物理基础。表现为具有强大决策分析功能的单独的软件工具和面向特定应用领域的信息系统平台,如SCM、CRM、IOERP与事务型的HIS不同,商业智能系统能提供分析、趋势预测等决策分析功能 (2)数据分析层面:是一系列算法、工具或模型。首先获取与所关心主题有关的高质量的数据或信息,然后自动或人工参与使用具有分析功能的算法、工具或模型,帮助人们分析信息
46、、得出结论、形成假设、验证假设 (3)知识发现层面:与数据分析层面一样,是一系列算法、工具或模型将数据转变成信息,而后通过发现,将信息转变成知识:或者直接将信息转变成知识。(4)战略层面:将信息或知识应用在提高决策能力和运营能力上商业智能的战略层面是利用多个数据源的信息以及应用经验和假设来提高企业决策能力的一组概念、方法和过程的集合它通过对数据的获取、管理和分析,为贯穿企业组织的各种人员提供信息,以提高企业战略决策和战术决策能力 Z 12商业智能的体系结构从系统的体系结构的角度来看, 商业智能系统一般由数据仓库(或数据场)、数据分析、数据挖掘、在线分析、数据备份和恢复等部分组成。商业智能系统从不同的数据源收集的数据中提取有用的数据,对数据进行清理以保证数据的正确性,将数据进行转换、重构后存入数据仓库或数据场(这时数据变为信息),然后寻找合适的查询和分析工具、数据挖掘工具及OLA P工具对信息进行处理(这时信息变为辅助决策的知识), 最后将知识呈现于用户面前, 转变为决策n01n1 商业智能的实现涉及到软件、硬件、咨询服务及应用,它的实施就是从许多来自企业不同的运作系统的不同类型的数据中,提取出有用的数据,进行清理以保证数据的正确