《数据挖掘技术及应用.ppt》由会员分享，可在线阅读，更多相关《数据挖掘技术及应用.ppt（47页珍藏版）》请在三一办公上搜索。
1、数据挖掘技术及应用,广州从兴电子开发有限公司2009.10张良均,内 容,数据挖掘FAQ数据挖掘过程应用案例总结,数据挖掘FAQ,数据挖掘FAQWhat,是一个选择、探索和建模的过程按既定业务目标，对大量的企业数据进行探索，揭示隐藏其中的规律性，从而带来业务价值,数据挖掘FAQWhy,从数据中淘金从数据中获取智能,数据挖掘FAQWhy,信息,数据,知识,智能,发生了什么？,为什么发生？,将会发生什么？,希望发生什么？,数据挖掘FAQWhich,客户生命周期管理起始（客户获取：对新的品牌缺乏了解，处于观望，忠诚度低）发展（客户激活：使用频率低，想尝试其它产品）成熟（客户流失预测）终止CRM客户关
2、系管理更多的钱包份额(Wallet Share)客户获取(Acquisition)客户保持(Retention)预防欺诈(Frand)WAR/F：帮你打赢这场战争,数据挖掘FAQWhich,请大家列举几个工作中数据挖掘应用的例子？,？,数据挖掘FAQWhich,预测性模型分类数值预测聚类关联规则时间序列预测,1、偷窃漏电预测2、客户信用风险预测,1、售电量预测2、绝缘子漏电量预测3、负荷预测,1、电力用户分类2、电力变压器状态评价,1、分时电价与售电量分析,1、负荷预测2、线损预测,数据挖掘FAQWhich,预测性模型分类数值预测聚类关联分析时间序列预测,1、概率回归2、对数回归3、决策树模型
3、4、MLP/RBF神经网络,1、线性回归2、非线性回归3、决策树模型4、MLP/RBF神经网络,1、K均值法2、SOM/KOHONEN神经网络3、系统聚类法,1、关联模式2、序列模式3、链接分析4、相似时间序列,1、ARIMA模型2、支持向量机3、灰色理论4、移动平均,数据挖掘FAQWho,高级业务分析人员领导决策者,数据挖掘FAQHow,？,内 容,数据挖掘FAQ数据挖掘过程应用案例总结,数据挖掘过程,数据挖掘过程数据取样,从企业数据中精选用于数据挖掘的样本数据取样时要严把质量关抽样数据必须在足够范围内有代表性 数据常分为训练、测试和验证数据集,数据挖掘过程数据探索,抽样数据是否达到设想要求
4、?有没有什么明显的规律和趋势?有没有出现从未设想过的数据状态?因素之间有什么相关性?是否有明显的组差别?,数据挖掘过程模式发现,对问题解决的要求需进一步量化 过滤不需要的记录知识的发现数据结构和内容进一步调整,数据挖掘过程预测建模,数据挖掘的核心环节根据数据集的特征和要实现的目标,选择合适的数据挖掘方法 尝试不同的建模技术，精炼模型,数据挖掘过程模型评估,从多个模型中寻找最优模型模型评价方法：建模数据进行检验另找一批数据进行检验发布有效的挖掘模型,内 容,数据挖掘FAQ数据挖掘过程应用案例总结,应用案例案例分析,在进行电力规划时，无论电源的建设，还是输电，配电网的建设，需要负荷预测这一基础数据
5、；在组织电力生产时，购置多少燃料(水，煤等)，外部电网供应多少，需要知道未来的负荷需求；在每天的电力运行调度过程中，安排每日的机组发电计划，电网的运行方式，也要提前知道负荷的大小。,应用案例案例分析,超短期负荷预测：一小时以内的负荷预测，用于安全监视、预防性控制和紧急状态处理。短期负荷预测：对未来一天 24 小时到未来几天的负荷预测，确定燃料的供应计划，对运行中的电厂出力要求提出预告。中长期负荷预测：预测未来几个月到未来几年负荷的变化，主要确定电网的运行方式和设备大修计划等。,应用案例案例分析,负荷预测的方法很多，并且随着这一领域研究的不断深化，新的负荷预测方法不断涌现。传统预测方法的基础是传
6、统数学工具，代表性的方法有回归模型法、时间序列法、趋势外推法等。现代预测方法是随着人工智能研究领域的兴起而出现的，它结合了人工智能领域的神经网络、小波分析、模糊数学等学科的最新研究成果，这是负荷预测方法发展历史中一个里程碑。由于影响负荷变化的因素有很多，且关系错综复杂，寻常的模型如状态估计和多元回归等方法难于把握其影响因素和负荷变化之间的非线性函数关系，因此需要一种具有高度非线性函数映射关系的模型来进行模拟，神经元网络模型就具有这样的优点和特性，事实上正是因为它的发展才使得高精度的负荷预测成为可能。,负荷预测数据取样,实时负荷数据每日最高气温是否节假日突发事件,负荷预测数据探索,样本数据是否按
7、时间顺序排列？不同时间粒度(年、月、日)数据是否存在明显分组？抽样数据是否存在明显的规律和趋势？负荷值与哪些因素存在关联？,趋势成分：显示一个时间序列在较长时期的变化趋势 季节成分：反映时间序列在一年中有规律的变化 循环成分：反映时间序列在超过一年的时间内有规律的变化 不规则成分：不能归因于上述三种成分的时间序列的变化,负荷预测数据探索,负荷预测模式发现,明确预测目标：短期负荷预测？中期负荷预测？长期负荷预测？数据分组：实时负荷、日负荷、月负荷数据结构和内容调整,负荷预测模式发现,负荷预测预测建模,外推法：找出时间序列观测值中的变化规律与趋势，然后通过对这些规律或趋势的外推来确定未来的预测值，
8、包括：移动平均法(时间序列没有趋势和季节成分)指数平滑法(时间序列没有趋势和季节成分)趋势预测法(时间序列含有趋势成分)季节指数法(时间序列含有季节成分)因果法：寻找时间序列因变量观测值与自变量观测值之间的依赖关系，然后利用这种依赖关系和自变量的预计值来确定因变量的预测值。回归预测法神经网络预测,适用于围绕一个稳定水平上下波动的时间序列。利用平均使各个时间点上的观测值中的随机因素互相抵消掉，以获得关于稳定水平的预测。将包括当前时刻在内的N个时间点上的观测值的平均值作为对于下一时刻的预测值（N应选择得使MSE极小化）。,负荷预测移动平均模型,负荷预测移动平均模型,改进移动平均预测模型，将计算平均
9、值对于不同时期观测值的权数设置得不同：近期的权数较大，远期的权数较小。,负荷预测指数平滑模型,指数平滑的叠代算法。,负荷预测指数平滑模型,负荷预测指数平滑模型,当电力负荷依时间变化呈现某种上升或下降的趋势，并且无明显的季节波动，又能找到一条合适的函数曲线反映这种变化趋势时，就可以用时间t为自变量，时序数值y为因变量，建立趋势模型yf(t)。赋予变量t所需要的值，可以得到相应时刻的时间序列未来值。这就是趋势外推法。线性趋势预测法、对数趋势预测法、二次曲线趋势预测法、指数曲线趋势预测法。,负荷预测趋势预测模型,负荷预测趋势预测模型,对于既含有线性(非线性)趋势成分又含有季节成分的时间序列，可对其成
10、分进行分解，这种分解建立在以下乘法模型的基础上：其中，Tt表示趋势成分，St表示季节成分，It表示不规则成分。由于不规则成分的不可预测，因此预测值就可表示为趋势成分和季节成分的乘积。,负荷预测季节指数模型,建立季节指数模型的一般步骤如下：第一步，计算每一季（每季度，每月等等）的季节指数St。第二步，用时间序列的每一个观测值除以适当的季节指数，消除季节影响。第三步，为消除了季节影响的时间序列建立适当的趋势模型并用这个模型进行预测。第四步，用预测值乘以季节指数，计算出最终的带季节影响的预测值。,负荷预测季节指数模型,灰色预测是一种对含有不确定因素的系统进行预测的方法。把一切随机过程看作是在一定范围
11、内变化的、与时间有关的灰色过程，可在数据不多的情况下找出某个时期内起作用的规律，建立电量和负荷预测的模型。,负荷预测灰色预测法,从因果关系出发，利用数理统计学中的回归分析来找出事物变化的规律，从而进行预测。分为简单线性回归分析，多元线性回归分析，非线性回归分析。回归分析主要体现：判别自变量是否能解释因变量的显著变化-关系是否存在；判别自变量能够在多大程度上解释因变量-关系的强度；判别关系的结构或形式-反映因变量和自变量之间相关的数学表达式；预测自变量的值；当评价一个特殊变量或一组变量对因变量的贡献时，对其自变量进行控制。,负荷预测回归分析,传统的预测模型是用显式的数学表达式加以描述，这就决定了
12、它的局限性。由于影响负荷变化的因素有很多，且关系错综复杂，寻常的模型如状态估计和多元回归等方法难于把握其影响因素和负荷变化之间的非线性函数关系，因此需要一种具有非线性函数映射关系的模型来进行模拟。神经元网络模型就具有这样的优点和特性，事实上正是因为它的发展才使得高精度的负荷预测成为可能。,负荷预测神经网络,负荷预测神经网络,评价模型准确性均方误差（MSE）平均绝对误差（MAE）平方和误差（SSE）平均相对误差（MAPE）,负荷预测模型评估,内 容,数据挖掘FAQ数据挖掘过程应用案例总结,总结课程总结,数据挖掘能使企业的商务智能流程真正形成闭环。它帮助企业不断了解自身运作中的各种问题、发现新的市场机会，并适时调整企业经营的策略，从而螺旋式地提高企业的经营情况和管理水平。,总结电力数据挖掘技术应用展望,对于电力系统这个存在着大量非线性的复杂大系统来讲，数据挖掘技术在电力系统中的应用具有很大的潜力，目前已涉及到如暂态，动稳分析，负荷预报，机组最优组合，警报处理与故障诊断，配电网线损计算，发电规划，经济运行及电力系统控制等方面。相信随着电力信息化的推进和应用水平的不断提高，电力企业中积累的数据规模越来庞大，数据挖掘技术将会在电力行业发挥不可估量的作用。,Thank You!,电力事业部 张良均Tel:13560356095E-mail:,
