电力系统数据仓库解决方案826.docx

《电力系统数据仓库解决方案826.docx》由会员分享，可在线阅读，更多相关《电力系统数据仓库解决方案826.docx（44页珍藏版）》请在三一办公上搜索。

1、目录1背景- 1 -2需求概述- 2 -2.1电量分析- 2 -2.1.1基本指标- 2 -2.1.2深度分析- 2 -2.2供电可靠性分析- 3 -2.3电压合格率分析- 4 -2.4线损分析- 5 -2.4.1基本指标- 5 -2.4.2深度分析- 6 -2.4.3图形展示- 6 -2.5装备水平分析- 6 -2.6人力资源分析- 7 -3解决方案- 8 -3.1创建仓库模型- 8 -3.1.1主题1 售电量- 8 -3.1.2主题2 用电量- 9 -3.2数据抽取规则- 10 -3.2.1分析业务系统库，对数据字典进行分类- 10 -3.2.2找出各业务系统内及其与目标数据库之间存在的数

2、据不一致。- 11 -3.2.3设计出合适的转换规则- 12 -3.2.4设计数据抽取流程- 12 -3.2.5设计数据抽取的流程的抽取方式，并开始数据的抽取- 13 -3.2.6对抽取到数据仓库中的数据，进行验证- 14 -3.2.7完成数据的抽取- 14 -3.3 OLAP多维分析- 14 -3.3.1多角度分析- 14 -3.3.2图形展示- 16 -3.4数据挖掘- 17 -3.4.1关联分析- 17 -3.4.2分类分析- 19 -3.4.3预测分析- 20 -4采用的技术及相关产品- 21 -4.1构建数据仓库的技术步骤- 21 -4.2相关产品介绍- 22 -4.2.1 Ware

3、house Manager- 23 -4.2.2 Cube Views- 24 -4.2.2.1概述- 24 -4.2.2.2建模及优化过程- 25 -4.2.3 OLAP Server- 26 -4.2.3.1概述- 26 -4.2.3.2使用MOLAP系列工具建立电力分析模型- 28 -4.2.4 Alphablox- 31 -4.2.4.1概述- 31 -4.2.4.2 AlphaBlox体系结构- 32 -4.2.4.3 AlphaBlox应用- 33 -4.2.4.4 Cube分析引擎（Alphablox Cubing Engine）- 34 -4.2.5 Intelligent M

4、iner- 35 -4.2.5.1数据挖掘评分组件（IM Scoring）- 36 -4.2.5.2数据挖掘建模组件（IM Modeling）- 37 -4.2.5.3数据挖掘图示化组件（IM Visualization）- 37 -5实施计划- 39 -5.1地纬公司的技术、实力与经验- 39 -5.2实施开发综述- 39 -5.3实施开发计划- 40 -一、需求分析阶段- 40 -二、物理建模阶段- 40 -三、数据转换（即ETL过程）阶段- 40 -四、生成多维模式并搭建立方体阶段- 40 -五、多维分析及展现阶段- 40 -六、数据挖掘阶段- 41 -附：工程实施整体计划一览表- 41

5、 - 42 -1背景随着计算机应用技术的普及，电力行业信息化建设得以突飞猛进的发展，营销MIS系统、抄表自动化系统、配电GIS系统、调度自动化系统、变电生产管理系统、以及办公自动化OA系统等基础应用系统已经在各电力企业得以建成并稳定运行。如何利用更前端的计算机技术，在这些基础应用系统之上，建立更高层次的应用，已成为各电力企业对内提高自身管理水平和运行效率、对外提高服务质量、最终提升企业自身竞争力的重要手段。目前，各级电力公司迫切需要对大量详尽真实的历史数据进行综合分析，及时准确地掌握公司电力营销状况，科学地预测电力市场的发展趋势，为制定电力政策和电力市场营销战略提供依据。因此，运用数据仓库技术

6、和辅助决策支持相关技术，建设电力营销数据仓库和辅助决策支持系统已成为一项关键的任务。 在这种形势下，济南市供电局适时提出了建立济南供电局辅助决策支持系统的任务，通过对数据库数据和人工录入数据的挖掘，以指标体系为中心，进行深度分析和挖掘，为不同层次的管理人员提供决策的信息支持。济南供电局辅助决策支持系统第一阶段主要以电量、电压合格率、供电可靠性、线损关键指标，输、配、变电设备装备水平，人力资源为重点。本方案暂以电量为主题给出建设实施初步方案。2需求概述2.1电量分析通过对全公司、分部门、分变电站、分电压等级、分时间段、分线路的供电量和售电量的数据显示，提供电量的基本指标数据。通过基本数据的再挖掘

7、可实现不同用电时间段的售电量分析、不同地区的用电分析、不同电价类别的售电量分析、不同行业的用电分析、大用户分析。数据来源营销自动化系统。2.1.1基本指标l 全公司供电量，各供电部公用区供电量，无损供电量电量，趸售供电量（按线路名称统计、按趸售县单位统计）l 全公司售电量，各供电部公用区售电量，趸售电量统计表（按线路名称统计、按趸售县单位统计），无损电量（按电压等级），各单位电费口径售电量、线损口径售电量，各单位分压售电量表，各单位分线售电量（各客户售电量明细）。l 按照供电区域(全公司、部门、变电站、电压等级、线路)任意时间段的分线供电量查询分析。l 按照供电区域(全公司、部门、变电站、电压

8、等级、线路)任意时间段的分线售电量查询分析。l 按照供电区域(全公司、部门、变电站、电压等级、线路)查询任意时间段的分电压售电量l 按照供电区域(全公司、部门、变电站、电压等级、线路)查询任意时间段任意关口计量点供电量。l 按照供电区域(全公司、部门、变电站、电压等级、线路)查询任意时间段任意受电计量点售电量。2.1.2深度分析1. 不同用电时间段的售电量分析根据不同月份用电总量统计数据，纵向分析各个月份售电量变化趋势，横向比较不同月份售电量差异，形成多维分析，比较不同月份之间售电量变化的差异；了解市场需求的时间属性，及时捕捉市场的变化。2. 不同地区的用电分析分析地区售电量历史数据，形成该地

9、区售电量变化曲线，根据曲线走势判断该地区未来电量变化趋势；分析各地区对总体售电量涨跌的贡献率；根据该地区各行业用户分布情况，结合行业发展综合指标，进一步分析、判断该地区售电量潜力；分析各经济指标对电量涨幅的贡献率。3. 不同电价类别的售电量分析针对不同类别的电价，统计售电量历史数据，分析不同类别电价的对应售电量变化趋势；通过多维分析，横向和纵向相结合，立体、直观地分析售电量变化率差异，可以得到不同电价类别的售电量增长潜力，为用电营销部分的电价调整提供决策依据。4. 不同行业的用电分析按照行业分类，统计行业售电量，比较历史数据，形成不同行业售电量变化曲线；纵向分析某一行业售电量随时间变化的趋势；

10、横向比较不同行业售电量的差异，重点关注不同行业之间售电量变化示行业用电潜力、各类用户需求潜力和区域用电增长潜力等，为企业决策人员提供重要的决策依据。5. 大用户分析大用户分析是用电营销的重要环节。从各种角度分析大用户的用电特征，制定贴身的营销策略，获取更高经营利润。6. 综合统计分析用电量排名前十的用户用电量增长排名前十的用户出现负增长的用户某月用电量的日分析与温度同轴显示售电量，同比增长率，按单位、季度、用电类型，结合业扩分析增长原因。对紧急限电序位方案表进行管理。包括负荷接近能力的预警，超负荷运行报警等、限电序列资料等。2.2供电可靠性分析全公司、分单位的供电可靠率、用户平均停电时间、停电

11、用户平均停电时间的基本数据。按月停电时间超过10小时的线路以及停电时间的长短和停电次数分别对明细排序。在此基础上可进行可靠性影响因素分析计划停电、临时停电、故障对供电可靠率 RS-1的影响，并详细分析故障对可靠率的具体影响。数据来源抄表自动化、配电GIS。具体指标如下：1. 用户停电的明细（报表形式）2. 对基本显示数据，按单位柱状图和报表显示，历史同期对比的柱状图显示，本年度发展趋势的折线图显示。3. 可靠性影响因素，按单位和影响因素的柱状图和报表显示，历史同期对比的柱状图显示，本年度发展趋势的折线图显示。4. 具体影响因素，按影响因素的柱状图和报表显示，历史同期对比的柱状图显示，本年度发展

12、趋势的折线图显示。5. 月停电时间超过10小时的线路报表显示（本月），具体每条线路的本年度历史停电时间折线图显示。6. 按停电时间的长短和停电次数分别对明细排序（本月）。2.3电压合格率分析基本指标：城市综合电压合格率、A类电压合格率、B类电压合格率、C类电压合格率、D类电压合格率等基本数据。通过对几个系统数据的深度挖掘，可对A类电压合格率分析电压质量监测点越上限在每天的时间段分布；和该段时间内主变压器分接头位置、电容器投切状态、系统负荷情况的信息显示在一张图标上，判断每天越限时间出现的时间段是否大致相同、是否自动调压、电容器是否自动投切。B、C类电压合格率，分析最差的几个电压质量监测点的供电

13、半径、无功配备情况，所供变电站无功补偿情况，以分析原因。数据来源抄表自动化系统、调度自动化系统。WEB展示要求：1. 综合电压合格率趋势分析，历史同期对比（折线图）。2. 分类别电压合格率趋势分析，历史同期对比（折线图）。具体明细的报表形式。分单位的趋势分析，历史同期对比（折线图）。3. 具体电压质量监测点的电压合格率趋势分析，历史同期对比（折线图）。4. A类电压质量监测点全天明细与主变压器分接头位置、电容器投切状态、系统负荷情况同轴显示。5. B、C、D类全月显示与供电半径、系统负荷情况、无功配备情况，所供变电站无功补偿情况同轴显示。2.4线损分析按照供电区域(全公司、部门、变电站、电压等

14、级、线路)任意时间段的分线线损率以及母线不平衡率等线损管理小指标查询分析。掌握任意时间段任意计量点档案资料展示各时段线损情况，并可以对线损率进行多项分析，包括综合指标分析、线损组成分析、趋势分析、供(售)电量增长分析、用户分类用电分析等子系统，对综合、线损率历史趋势进行全面分析，用户用电量增长分析。分析线路最近线损率变化异常。可以分层逐步分析，分析这条线路下的任一计量点电量、档案资料等。对线损异常的线路，查询线路手拉手运行记录、用电量波动较大的客户用电信息、客户更换供电线路查询、营销自动化系统中各种基础数据查询，缩小对异常线路的分析范围，使分析更有针对性。实时形成每时段线损率，实现超高报警。异

15、常分析，对线损率变化异常的线路(售电量变化异常用户)报警。提供降损决策分析,包括调整电压,送电线路升压,并联无功补偿,增加并列线路,增大导线面积等多种降损决策综合分析.数据来源抄表自动化系统。2.4.1基本指标l 全公司供电量，各供电部公用区供电量，无损供电量电量，趸售供电量（按线路名称统计、按趸售县单位统计）l 全公司售电量，各供电部公用区售电量，趸售电量统计表（按线路名称统计、按趸售县单位统计），无损电量（按电压等级），各单位电费口径售电量、线损口径售电量，各单位分压售电量表，各单位分线售电量（各客户售电量明细）。l 按照供电区域(全公司、部门、变电站、电压等级、线路)任意时间段的分线供电

16、量查询分析。l 按照供电区域(全公司、部门、变电站、电压等级、线路)任意时间段的分线售电量查询分析。l 按照供电区域(全公司、部门、变电站、电压等级、线路)任意时间段的分线线损率查询分析。l 按照供电区域(全局、部门、变电站)任意时间段的母线不平衡率等线损管理小指标查询分析。l 按照供电区域(全公司、部门、变电站、电压等级、线路)查询任意时间段的分电压售电量l 按照供电区域(全公司、部门、变电站、电压等级、线路)查询任意时间段任意关口计量点供电量。l 按照供电区域(全公司、部门、变电站、电压等级、线路)查询任意时间段任意受电计量点售电量。l 按照供电区域(全公司、部门、变电站、电压等级、线路)

17、查询任意时间段任意计量点档案资料2.4.2深度分析以上指标的上月同期,去年同期和指标值比对展示各时段线损情况，并可以对线损率进行多项分析，包括综合指标分析、线损组成分析、趋势分析、供(售)电量增长分析、用户分类用电分析等子系统，对综合、线损率历史趋势进行全面分析，用户用电量增长分析。手拉手线路拉手情况汇总表。手拉手线路线损综合统计分析。分析线路最近线损率变化异常。可以分层逐步分析，分析这条线路下的任一计量点电量、档案资料等。对线损异常的线路，查询线路手拉手运行记录、用电量波动较大的客户用电信息、磁卡表电量分析、客户抄表时间查询、客户更换供电线路查询、营销自动化系统中各种基础数据查询，缩小对异常

18、线路的分析范围，使分析更有针对性。手拉手线路线损分析。在计算线损时因为线路调度可能引起误差，分析综合线损。实时形成每时段线损率，实现超高报警。异常分析，对线损率变化异常的线路(售电量变化异常用户)报警。提供降损决策分析,包括调整电压,送电线路升压,并联无功补偿,增加并列线路,增大导线面积等多种降损决策综合分析.2.4.3图形展示以上指标和分析的图形柱状图、折线图、饼图展示。可以任意选择一条或几条线路进行分析。对超过一定范围的数据用红色显示。显示某时间点的线损情况。如显示各10点的线损曲线。可以分析某一时间段数据。每天的线损情况，可以显示每天的线损曲线。以及每条线路每月线损曲线。2.5装备水平分

19、析变电站，开关、互感器、隔离开关、变压器容量、保护综自设备按变电站、电压等级、产品型号、类型显示统计结果。统计变电综合自动化率、双配置率、无油化率、组合化率。以及变电设备到期需检修、试验设备。检修试验完成率。统计缺陷按数量、类型、变电站等展现历史变化曲线图形点击可直接显示明细。输配电线路总条数，总长度。输电线路按电压等级、型号、架空和电缆、投运时间（年）、资产统计条数和长度。配电线路按单位、资产性质、电缆架空、显示统计结果。架空配电线路、配电变压器、低压台区个数，配电室、箱变、台架、配电室、开关站、环网柜、分支箱、联络柱上开关、分段柱上开关显示统计结果。并可按照台帐中的设备投运日期统计需更换设

20、备，按照试验时期统计需进行试验的设备，按照巡视周期应进行巡视的线路及设备等。数据来源配电GIS，变电生产管理系统。2.6人力资源分析人员基本信息，可按部门、性别、身份、年龄结构、工作年限、人员分类、专业职务、政治面貌、文化程度、用工形式、技能工资、岗位工资进行统计，并可交叉统计。构建历史数据，反映职工调动纪录，记录调动时间，前后部门、岗位变动，主业职工人数、三产职工人数历史曲线，生产、管理人员人数及比例历史纪录，全局人员、生产人员、管理人员中各种学历比例历史纪录可进行技能结构分析、学历层次分析、员工年龄变化趋势分析、年龄结构分析、专业分析统计、中层干部结构分析、公司机关人员现状分析、高级技能人

21、才比例、人才密度等统计显示。数据来源人事MIS系统。3解决方案3.1创建仓库模型根据对电力行业的营销系统、调度系统、抄表自动化系统等的了解，我们提取了售电量、用电量两个主题，并根据可能影响该主题的相关因素，设计出该主题的星型模式。3.1.1主题1 售电量主题 售电量影响电量的因素：l 用户（含大客户）l 时间（粒度为天）l 行业分类l 用电类别l 电价类别l 供电区域地区 部门变电站线路公用区l 电压等级l *售电量* 构建的星型模式：图3-1 售电量的星型模型3.1.2主题2 用电量主题 用电量影响电量的因素：l 变压器l 时间（粒度为天）l 供电区域地区 部门变电站线路公用区l 电压等级l

22、 业扩 新增 增容l 外部因素 天气（温度） 政策 电价调整 经济形势l *用电量*构建的星型模式：图3-2 用电量的星型模型3.2数据抽取规则数据抽取是根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源（包括各平台的数据库、文本文件、HTML文件、知识库等）进行清理、转换，对数据进行重新组织和加工，装载到数据仓库的目标库中。在组织不同来源的数据过程中，先将数据转换成一种中间模式，再把它移至临时工作区。加工数据是保证目标数据库中数据的完整性、一致性。在数据抽取过程中，必须在最终用户的密切配合下，才能实现数据的真正统一。早期数据抽取是依靠手工编程和程序生成器实现，现在则通过

23、高效的工具来实现，如Ardent公司的Infomoter产品、SAS的数据仓库产品SAS/WA（WarehouseAdministrator）及各大数据仓库厂商推出的、完整的数据仓库解决方案。在本解决方案中，我们将采用IBM公司的DB2 Warehouse Manager来完成数据抽取。3.2.1分析业务系统库，对数据字典进行分类了解各个业务系统库，分析需要从那些业务系统库抽取数据，并分析各个系统之间的联系，熟悉要抽取数据的业务系统库的数据字典。然后，对源数据库中的数据进行细分，将数据字典中的各字段转换到分类数据表中，然后将整个数据抽取的过程建立在分类数据表的基础上。分类数据抽取策略的实质是将

24、创建集合记录过程中对导入记录映像的分类和再分类工作的一部分提前至键值定义中，使得原本无法并行的概括键值和分类抽取集合键值过程变得可以并行操作，而且并行操作的各类人员或程序有了更明确的任务划分，起到了分工合作的作用。从而在数据仓库和数据集市的构建中，将源字段分类、分类字段键值概括、已抽取数据的再分类等工作分派给不同的人员并行处理，形成流水线效应，提高了工作效率。分类数据抽取策略的过程如图3-3所示：图3-3 分类数据抽取策略过程3.2.2找出各业务系统内及其与目标数据库之间存在的数据不一致。各个源数据系统是由不同的公司在不同的时间开发的，数据之间都存在很大的不一致。l 在不同的系统中，同一实体的

25、编码类型可能不一致。例如，有两个数据源存储与客户有关的信息，在定义数据组成的客户编码类型时，可能一个用的是可变字符型，而另一个用的是整型；l 在不同的系统中，同一实体的编码方案可能不一致。例如，在定义客户性别这一属性的类型时，一个可能是char（2），存储的数据值为男和女，另一个属性类型为char（1），数据值为F和M；有的系统还可能用的是0、1和2，0表示男，1表示女，2表示性别未知。l 不同系统中，数据存储的粒度可能不一致。例如，在抄表自动化系统中，对大客户的抄表时间间隔精确到小时，但是在目标数据仓库中，需要将抄表时间间隔精确到天。l 数据需要清理。有的系统因为开发时间比较早，存储它里面的

26、数据可能已经不在满足现在实际需求，成为错误数据。例如，在老的历史数据中，存在一个计量点对应多个有功表的情况，这是不符合实际需求的，但是，我们又必须要使用这些老的历史数据，这就要求对这些存在错误的历史数据进行清洗、整理，以符合实际需求。在某些情况下，为了保证输入数据的正确性，需要一个简单的算法。在复杂情况下，需要调用人工智能的一些子程序把输入数据清理为可接受的输出形式。l 一个维可能有多个级别，在业务系统库中，这些数据可能存储在多个表中，这需要将包含在多个表中的有关数据进行合理合并。例如，客户维包括供电局、供电所和客户三个级别，它的层次如图3-4所示：客户维供电局 供电所客户图3-4 客户维的层

27、次供电局、供电所的信息存储单位信息表中，客户信息存储在客户基本信息中，这就需要对两张表进行合并。l 目标仓库可能只关心业务系统库表中的一部分数据。例如，在业务系统库的客户基本信息中，可能根据时间存放了一个客户的多条信息，但是目标仓库对每个客户只需要一条信息就足够了，这就需要对数据进行清洗。l 需要提供缺省值。有时候，数据仓库的一个输出值没有对应的输入源。这时，必须提供缺省值。l 必须进行数据格式的转换。例如，E B C D I C到A S C I I的转换(或反过来)必须进行；有关日期的输入数据格式是Y Y / M M / D D，当它被写入输出文件时，需要转化为D D / M M / Y Y

28、的格式。3.2.3设计出合适的转换规则针对各个业务系统库数据之间不一致，制定出相应的转换规则l 各个系统编码类型的转换。例如，源系统中，客户编码用的是整型，目标仓库中，用的是char(12)，那么将整型的每位转换成一位字符，转换完成，不足12位的，在前面用字符0补足12位。l 各个系统编码方案的转换。例如，源系统中，客户性别用的是“男”、“女”，而目标仓库中，用的是“0”，“1”，“2”，那么做如下转换： 男 0 女 1 空值 2l 对数据进行清理。例如，对一个计量点存在多个有功表的情况，就要按照实际情况，要么拆分成多个计量点，要么，将多个有功表进行求和。l 数据格式进行转换。例如，ASCII

29、码转换成E B C D I C，需要使用相应的转换函数。3.2.4设计数据抽取流程每个数据抽取流程完成一个功能相对独立的实体的数据抽取，比如，一个抽取流程完成一个维或事实表的数据抽取。在本方案中，我们将借助于IBM公司的可视化数据抽取工具DB2 Warehouse Manager来完成数据抽取流程的设计。一个数据抽取流程可能会涉及到多个表，需要运用多个数据抽取规则，进行多个数据转换，并且各个数据转换之间存在制约关系，一个转换必需在某个或某几个转换完成之后才能进行。例如，客户维的数据抽取流程需要从系统信息表和客户基本信息表中抽取数据，并且需要将客户基本信息表中不需要的客户信息清洗掉。客户维数据抽

30、取流程在DB2 Warehouse Manager中的设计如图3-5所示：图3-5 客户维数据抽取流程3.2.5设计数据抽取的流程的抽取方式，并开始数据的抽取对大数据量实体的数据抽取进行整体抽取，可能会占用太多时间，一般会采取增量抽取；对于小数据量的实体，可以考虑使用整体抽取。在数据抽取流程设计完成之后，就需要指定数据抽取流程的抽取方式，比如是人工抽取，还是自动；如果是自动，那么就需要指定开始抽取的时间或时间间隔。对有制约关系的各个抽取流程，还要指定他们之间的先后关系。在数据抽取流程的抽取方式设计完成之后，就可以开始数据的抽取了。3.2.6对抽取到数据仓库中的数据，进行验证在数据抽取到数据仓库

31、后，就需要对数据进行验证，看是否满足一致性，是否满足实际需求，是否达到了预期的目标。如果，数据没有达到预期的目标，就要找出不满足需求的原因，重复步骤3.2.23.2.6，重新分析各系统之间存在的问题，重新设计转换规则、数据抽取流程。3.2.7完成数据的抽取手工或定期地启动数据抽取流程，将数据从业务系统库中抽取到数据仓库中。3.3 OLAP多维分析针对电力系统将要建立的数据仓库模型，我们选择OLAP展示作为数据仓库向用户提供信息的接口，来满足决策支持或多维环境特定的查询和报表需求。3.3.1多角度分析对同一主题的数据，OLAP展现可以在不同的角度对数据进行展示，用户可以根据需要，随意组合展示的角

32、度和展示的方式。例如，用户选定对售电量主题进行分析，可以从用户、时间、行业分类、用电类别、电价类别、供电区域、电压等级角度对售电量进行。用户在分析的过程中，既可以把上述所有的角度都选定，在各种角度综合作用下的进行分析，也可以只选择自己感兴趣的角度进行分析。例如，可以进行下列不同角度的展现：l 某行业在各个时间段内的电量趋势及同期比。l 某用电类别在各个时间段内的电量趋势及同期比。l 某电价类别在各个时间段内的电量趋势及同期比。l 某供电区域在各个时间段内的电量趋势及同期比。l 某电压等级在各个时间段内的电量趋势及同期比。l 在某段时间内，各行业用电量及其在总电量中所占的比重。l 在某段时间内，

33、各用电类别用电量及其在总电量中所占的比重。l 在某段时间内，各电价类别用电量及其在总电量中所占的比重。l 在某段时间内，各供电区域用电量及其在总电量中所占的比重。l 在某段时间内，各电压等级用电量及其在总电量中所占的比重。l 某电价类别中，不同供电区域在某段时间内的用电量，及对比。l 某行业中，不同供电区域在某段时间内的用电量，及对比。l 某用电类别中，不同供电区域在某段时间内的用电量，及对比。l 某供电区域中，不同供电区域在某段时间内的用电量，及对比。l 某电压等级中，不同供电区域在某段时间内的用电量，及对比。l 在某供电区域内，各行业用电在某段时间内用电量，及其在总电量中所占的比重。l 在

34、某供电区域内，各用电类别用电在某段时间内用电量，及其在总电量中所占的比重。l 在某供电区域内，各电价类别用电在某段时间内用电量，及其在总电量中所占的比重。l 在某供电区域内，各电压等级用电在某段时间内用电量，及其在总电量中所占的比重。l 某大客户在各个时间段内的电量趋势及同期比。l 在某段时间内，各用电大户的用电量，及其在总售电量中所占的比重。l 某行业中，各用电大户在某段时间内的用电量，及对比。l 某用电类别中，各用电大户在某段时间内的用电量，及对比。l 某电价类别中，各电大户在某段时间内的用电量，及对比。l 某供电区域中，各电大户在某段时间内的用电量，及对比。l 某电压等级中，各电大户在某

35、段时间内的用电量，及对比。l 分析时除了维度的灵活选择外，展示系统还支持在某一维度上的钻取分析。例如，在按照行业分类和时间角度对售电量进行分析时，用户可以根据需要采取向下钻取(Drill)分析方式，查看时间角度上更细节的数据，如可以查看每个季度每月的数据或只查看第四季度下面三个月的数据，如图3-6所示。图3-6 钻取分析图对于某角度细节粒度的数据，如各行业分类每天的售电量，也可以采取上卷(Roll-up)的分析方式查看高粒度上的数据，如可以对2004年1月份每天的数据进行汇总。对于任何一个用户关心的角度，只要此角度存在层次关系，我们的展示都可以进行此种向高层的上卷和向下层的钻取操作。让用户只是

36、点击一下鼠标，便可以站在不同层次之间浏览数据，方便用户既可以对细节数据的把握，有可以满足用户对综合数据的需求。我们的展示对同样的一组数据，可以以不同的视角进行展现。对图3-6所示的数据，此时展示的是不同的行业的2004年四个季度的售电量。可以采取旋转(Rotate)/转轴(Pivot)分析方法，展示在2004年的四个季度中不同的行业的售电量。这种旋转(Rotate)/转轴(Pivot)操作，使得用户对拥有同样角度的数据，可以这次以这个角度作为观察的重点，下次又以另一角度作为观察的重点。此种操作方法，对同一组数据，给用户提供更灵活的观察视角。3.3.2图形展示我们的展示既能提供数字报表展示，还能

37、提供强大的图形展示功能。可以对数字报表以柱状图、饼图、折线图等图形直观的展现给用户，还支持对用户关心的图形区域进一步细化展示的功能。图3-7给出了两种图形的组合图形报表，左面的饼图给出了不同地区的售电量占总售电量的比例，右面的折线图给出了三种行业在2002、2003的八个季度中的售电量变化趋势。图3-7 组合图形报表我们对一般的图形展示功能做了扩充，支持在图表上直接进行分析，可以使用户方便直观进行主题分析。如用户查看2004年四个季度的不同行业分类的售电量（图3-8），用户如果此时仅想查看四个季度的“非普工业”的售电量，此时只需在“非普工业”点击一下，图形将显示2004年四个季度的“非普工业”

38、的售电量情况（3-9）。图3-8 行业分类售电量展现图3-9 非普工业售电量展现3.4数据挖掘利用Intelligent Miner可实现关联分析、聚类分析、分类、预测、时序模式和偏差分析等6种信息的挖掘方法。下面举例说明前3类挖掘。3.4.1关联分析比如我们关心各线路之间售电量变化的相关性，这属于挖掘中的关联挖掘。首先我们需要在系统中指定我们认为可能有关联的线路，如从线路1到线路10的相关数据，经过系统的运算分析我们可以得到一张如图3-10所示的图表：图 3-10 关联挖掘示意图l 图表可以告诉我们什么？图中的节点表示不同的线路，节点之间的连线表示不同节点之间的关联规则，连线的颜色代表该关联

39、规则的支持度，而连线的粗细程度代表着该关联的改善度。所谓规则AB的支持度是指，A与B同时出现的概率；而AB的改善度是指，在A变化的情况下，B一定变化的概率。在图中我们可以看到，线路8上售电量的改变有80%的概率会引起线路10上售电量的改变，而线路8和线路10在物理上并不一定是邻近的。在这种情况下，如果我们要在线路8上新增一个用户，而该用户的用电量将会把线路8的平均负荷从50%提升到80%，这样一来，我们是不需要对线路8进行改造的。但通过我们的挖掘分析可以知道，新增的用户可能会大大提高线路10的平均负荷，而如果线路10本身已经接近满负荷，则我们需要对线路10进行改造。l 我们可以利用关联做什么？

40、l 有了这样的工具之后，我们可以分析许多与主题相关因素之间的关系，找到一些潜在的规则，而这样的规则可能是我们在平时的工作中根本不会想到的。比如：l 供电区域与用电类别之间的关联：历城区的售电量上涨时，我市大宗工业的售电量也将大幅上涨。l 居民照明用电、商业用电及大宗工业用电之间的关系：居民照明的售电量大幅上升时，商业用电也将大幅上升，而大宗工业的售电量可能会有相应的减少。l 各电压等级之间的关系：当35KV以下的售电量大幅减少时，220KV以上的售电量可能会有相应的减少。l 农业售电量与某种工业之间的关系：当农业售电量大幅上升时，某特定工业的售电量可能随之大幅上升。l 如果底层数据完整，我们甚

41、至可以找出每天的温度与日售电量之间的关联规则，从而根据天气预报来推测下一时间段的售电量。3.4.2分类分析比如我们想按自己的标准对所有的总电量进行分类，而这种标准又可能是不固定的，比如，要看总电量中月用电量大于5万度的和小于等于5万度的各占多少，而在月用电量大于5万度的售电量中，大工业用电和非大工业用电各占多少。要实现这样的目的，我们需要在系统中指定每一层的规则，经过系统的分析运算，我们可以得到一张类似于下图的一张图表：图3-11 分类挖掘示意图图中显示的是一棵树，树的根结点代表一定时间段内的总电量，结点上方显示的汉字即为我们自己定义的分类规则，在这里，我们把总电量按“月售电量5万度”的标准分

42、成两部分。根结点的左结点代表月售电量大于5万度的用户的售电量，而右结点代表小于等于5万度的售电量。在大于5万度的售电量中，我们又按“是否大工业”的标准进行细分，又得到两个结点，以此类推。当然，我们可以看到每一结点的具体数据，如它在父结点的总量当中所占有的百分比或绝对数量。3.4.3预测分析比如我们想根据大量的历史数据来推测下一时间段(可能是月也可能是年)的售电量。要实现这样的目的，我们需要在系统中指定预测时间段的长度(如是一个月还是一年)、是否使用特定的模型、使用何种模型及指标预测的角度之后，经过系统的运算、分析，我们会得到一张类似于图3-12的图表。图3-12 预测分析示意图在图中可以看到，

43、我们可以随时改变相应的预测条件来生成新的预测结果。预测结果的展示可以是折线图，柱状图或数据表等多种形式。4采用的技术及相关产品4.1构建数据仓库的技术步骤具体来看，开发数据仓库的流程主要按照下列步骤：（1） 启动工程首先建立开发数据仓库工程的目标及制定工程计划。计划包括数据来源、提供者、技术设备、资源、技能、组员培训、责任、方式方法、工程跟踪及详细工程调度等。（2） 建立技术环境选择实现数据仓库的软硬件资源，包括开发平台、DBMS、网络通信、开发工具、终端访问工具及建立服务水平目标（关于可用性、装载、维护及查询性能。）（3） 确定主题进行数据建模（需求分析）根据决策需求确定主题，选择数据源，对

44、数据仓库的数据组织进行逻辑结构设计。（4） 设计数据仓库中的数据库（物理建模）依照需求分析得到的逻辑模式，开发数据仓库中数据的物理存储结构，即设计多维数据结构的事实表和维表。（Warehouse manager）（5） 数据转换程序（即ETL过程）实现从源系统中抽取、清理、一致化、综合、装载数据等过程的设计和编码。（Warehouse manager）（6） 管理元数据（部分已经在步骤4、5中完成）定义元数据，即表示、定义数据的意义及系统各组成部件之间的关系。元数据包括关键字、属性、数据描述、物理数据结构、源数据结构、映射及转换规则、综合算法、代码、默认值、安全要求、变化及数据时限等。（War

45、ehouse manager）（7） 创建仓库模式用定义好的事实表和维表生成多维模式。注，这个模式不存在层和层次的概念。（Warehouse manager）（8） 搭建立方体在已创建的仓库模式的基础上，对维定义了层和层次；创建了需要预计算的量度；利用优化器根据业务进行了切片优化和预处理，生成MQT（物化视图）；在模式中建立立方体，供查询和多维分析使用。（Cube Views）（9） 开发基于多维存储的OLAP模型前面创建的模型是基于关系存储的，在这里要创建基于多维存储的OLAP模型。主要工作分为建模和部署两步：（OLAP Server） 基于仓库中的表建立OLAP模型i. 首先建立元模型（包

46、括创建星型或雪花模式，定义维、属性、层和层次等）；ii. 再建立元轮廓，即将前面定义的元模型转换成OLAP Server所能识别的元数据。 将建好的模型部署到AS（分析服务器）中； 注意，Cube View和Olap server是两个并行使用的工具，后者的功能似乎比前者更强大。（10） 多维分析及展现使用数据分析和展现工具，开发多维分析程序以及展现页面。（Alphablox）（11） 查询优化IBM提供了专门的查询优化工具Query Patroller，它通过帮助DBA控制和了解数据库使用情况，从而实现预见性的管理、查询信息分析、查询监控等。（12） 数据挖掘利用数据挖掘工具抽取以前没有发现、可理解的、可操作的信息。包括聚类、关联、分类、预测分析等。（Intelligent Miner）（13） 管理数据仓库环境数据仓库必须像其他系统一样进行管理，包括质量检测、管理决策支持工具及应用程序，并定期进行数据更新，使数据仓库正常运行。4.2相关产品介绍IBM公司的DB2数据仓库企业版提供了完整的数据仓库解决方案，包括DB2 ESE、DB2 Warehouse Manager、DB2 Cube Views、DB2 OLAP Server、DB2