《中国移动省级经营分析系统地市数据集市工程实施建议.doc》由会员分享，可在线阅读，更多相关《中国移动省级经营分析系统地市数据集市工程实施建议.doc（16页珍藏版）》请在三一办公上搜索。
1、附件一中国移动省级经营分析系统(v1.5)地市数据集市工程实施建议中国移动通信有限公司发布发布20062006实施版本号：1.5 目录一、应用需求错误！未定义书签。二、分工界面错误！未定义书签。三、技术支持与保修错误！未定义书签。四、全国部署建议错误！未定义书签。五、工程进度安排错误！未定义书签。六、工程管理办法错误！未定义书签。七、相关要求错误！未定义书签。八、投资建议错误！未定义书签。九、地市数据集市投资参数分析错误！未定义书签。为顺利完成经营分析系统地市数据集市建设工作，确保地市数据集市如期上线运行，各省、地市公司在工程实施过程中应遵循如下建议。一、 应用需求本次地市数据集市工程要求各省
2、公司地市分别完成地市数据集市业务功能。这些业务功能分为“基本集”和“可选集”两部分。“基本集”指各地市在规定时间内必须要完成的业务功能；“可选集”指各地市视自身实际情况可以选择完成的业务功能。具体内容如下：服务对象分析主题实现优先级建议实现平台大客户经理大客户基本信息基本集大客户管理子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供大客户活动信息基本集大客户管理子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供大客户预警信息基本集大客户管理子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供主动服务及营销可选集大客户管理子系统负责信息收集，录入和展现；部分扩展属性由数据集
3、市提供大客户经理报表可选集大客户管理子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供集团客户经理集团客户基本信息可选集集团客户子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供集团客户成员信息可选集集团客户子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供集团客户活动信息可选集集团客户子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供集团客户预警信息基本集集团客户子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供主动服务及营销可选集集团客户子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供集团客户经理报表可选集集团客户子系统负责信息收集，录入和
4、展现；部分扩展属性由数据集市提供集团客户V网潜在成员发现基本集集团客户子系统负责信息收集，录入和展现；部分扩展属性由数据集市提供策划经理目标客户群基本集数据仓库创建模型，数据集市展现资费套餐评估基本集数据仓库创建模型，数据集市展现资费收益测算基本集数据仓库创建模型，数据集市展现短期促销活动分析基本集数据仓库创建模型，数据集市展现新业务产品分析基本集数据集市渠道管理渠道基本信息基本集渠道管理系统负责信息收集，录入和展现；部分扩展属性由数据集市提供资源情况可选集渠道管理系统负责信息收集，录入和展现；部分扩展属性由数据集市提供渠道酬金可选集渠道管理系统负责信息收集，录入和展现；部分扩展属性由数据集市
5、提供渠道评估基本集数据集市管理者日KPI基本集数据集市月KPI可选集数据集市经营分析师客户属地化分析基本集数据集市竞争对手用户属地化基本集数据集市忙时集中系数可选集数据集市普通客户离网预警模型可选集数据集市欠费分析可选集数据集市在网客户分析可选集数据集市中高端客户分析基本集数据集市普通客户离网分析可选集数据集市营销成本可选集数据集市客户投诉可选集数据集市二、 分工界面各省公司在进行地市数据集市建设时需要从参与地市数据集市建设的地市公司中抽调45人，与集成商、应用软件开发商和原厂商共同组成地市数据集市项目管理实施小组，依据中国移动经营分析系统数据集市试点业务技术规范、中国移动经营分析系统地市数据
6、集市逻辑数据模型及相关附件的要求，根据本省实际情况制定建设方案并负责实施。各省公司直接负责地市数据集市的工程建设工作；地市分公司负责提供业务需求，业务需求以地市分公司市场部人员为主提供；集成商负责项目建设的协调工作；应用软件开发商负责系统平台的建设、应用软件开发上线和维护；原厂商负责提供系统软件、硬件设备安装调试、技术支持和保修。三、 技术支持与保修应用软件开发商和原厂商负责提供系统终验后为期一年的技术支持服务与保修。四、 全国部署建议 参加过数据集市试点的12个省公司在所有地市进行部署 浙江、山东、河南、河北、四川、福建、湖北、江西、陕西、黑龙江、吉林和云南 没有参加过数据集市试点的其它省公
7、司 广东、江苏、上海在全部地市分公司部署 辽宁、湖南部署50%以上地市分公司 山西、广西、海南、重庆、安徽部署3个地市分公司 内蒙、贵州、新疆、甘肃、宁夏、青海和西藏部署1个地市分公司五、 工程进度安排各省地市需在2006年12月31日之前完成数据集市基础平台的构建以及“基本集”应用的开发上线；在2007年3月30日之前完成“可选集”应用的开发上线。本次工程业务满足期截止到2007年12月31日。六、 工程管理办法数据集市项目工程管理办法将另文通知。七、 相关要求1. 中国移动经营分析系统地市数据集市知识产权归属于中国移动通信有限公司。2. 数据集市的建设和应用应遵循“平台标准化、业务个性化”
8、的原则。平台标准化是指数据集市基础平台应选用标准的第三方硬件和系统软件，数据集市的逻辑数据模型必须是统一的、标准的；业务个性化是指各地市分公司在开发应用功能时，应结合本地的实际情况，体现本地的特色。3. 数据集市的建设本着开放性原则要求提供数据的标准开放接口，确保能够支撑第三方应用的开发。4. 在地市数据集市应用的开发过程中，应本着资源利用最大化的原则。尽量利用轻度汇总层和其它汇总数据，避免频繁使用明细级的数据，充分提高系统的访问效率。5. 在地市数据集市应用的开发过程中，逐步将地市的外围相关系统整合至数据集市之中。6. 数据集市中的详单类等基础数据完全由省级数据仓库提供，避免由BOSS等其他
9、生产系统直接提取数据。7. 加强对收集、录入数据的管理工作。为了对大客户、集团客户和渠道等对象进行更为详尽、全面的分析，省公司应发布相应的管理办法，地市分公司也应重视相关信息的收集整理工作，尽量通过业务前台、客户经理等，完成有关数据的收集和录入工作。8. 在项目建设和后期维护过程中，应重点加强对人员的培训。应能在本次项目结束后为地市培训出一批能够独立完成数据集市分析、使用、维护和开发的人员。八、 投资建议投资原则：u地市数据集市（以下简称为“数据集市”）的投资范围：主机、存储的投资、软件平台的投资、应用软件投资。u 投资满足期：本期数据集市的投资应满足工程的业务满足期至2007年底。u 科学评
10、估：正确评估旧设备的利用价值和新设备的投入以及后续的扩容能力，由于数据集市是为地市分公司建立的单独的数据库，因此如果条件许可，可以充分考虑地市分公司主机的利旧。u 总投资以用户数为基本参数，建议地市公司用户数在200万以内的集市每用户投资系数在4元到6元之间，200万用户以上建议投资在2元到4元之间。九、 地市数据集市投资参数分析（一）、基本参数u细节数据的在线存储时间：由于数据集市的数据主要来源于省级经营分析系统数据仓库（以下简称为“数据仓库”），因此考虑到数据集市数据的存储和性能，不必存放太多的历史数据，只需满足短期分析即可，目前设定清单、帐单数据为：3个月，其它数据为1个月。如需要采用数
11、据挖掘等应用，可以临时从省级数据仓库中获取样本用户的更多相关数据。u数据集市ETL文件的在线保留时间：由于数据集市的数据主要来源于数据仓库，存储空间也基本放在数据仓库中，因此在线保留时间可以减少，但同时为了能够应对数据集市数据的错误回退和其他错误流程，也可以适当考虑增大此类数据存储空间。u当前移动用户数：主要考虑数据仓库支撑的移动通信用户数。u数据集市备份考虑：由于数据集市来源于数据仓库，因此除地市分公司个性化数据之外，基础明细数据基本不需要脱机备份。u存储时间一致：考虑数据集市的存储支撑时间应和数据仓库的存储支撑时间保持一致。（二）、数据集市主机平台投资建议数据集市业务处理流程整体分析：数据
12、集市在处理过程中相关的服务器主要完成以下两大部分工作：u数据集市数据ETL，包括从数据仓库的数据抽取、简单处理、装载生成数据集市数据；u数据集市展现数据生成，包括KPI、OLAP、预定义报表、即席查询、预定义查询、数据挖掘等。相应地，数据集市中需要投资的主机平台在逻辑上划分为ETL服务器，数据集市服务器或者服务器群、OLAP服务器、数据挖掘服务器、WEB服务器。ETL服务器性能计算：（）ETL服务性能分析：ETL服务器的考虑基本以日数据作为测算的依据，通过数据集市得到日处理数据量的峰值， 1天全部的记录数多少，需要在多少分钟内完成ETL的工作，测试省级经营分析系统每抽取多少张清单，大约需要1个
13、TpmC；同时保留30%的性能冗余。ETL服务器主要的处理工作包括以下方面：u以数据仓库或文件系统作为数据源抽取数据集市数据(本过程称为E)。u每日对上述抽取过来的全部数据进行清洗、转换和分发(本过程称为T)。u将上述处理分发完成的数据加载到数据集市中(本过程称为L)。以上工作设定其工作流程为串行关系。这样，ETL的处理能力要求为：MAX（E处理能力要求；T处理能力要求；L处理能力要求）。TpmC的推荐计算公式如下：E、T、L处理能力要求计算方式：1)所有抽取要求在X小时内完成；2)每日处理记录的数量大约为（每日语音清单数每日数据业务清单数等）；3)平均处理N条记录所需的事务数为1；4)TPC
14、C（E、T、L）记录数/（处理时间*60）*处理一条记录所需的事务数。（）ETL服务器TPCC处理能力要求计算：综合TPCC处理能力要求计算：MAX（E处理能力要求；T处理能力要求；L处理能力要求）同时我们考虑如下因素：u增加服务器处理能力的20%，需运行ETL管理等应用；u考虑到处理过程中可能遇到的高峰期和用户数不可预料的增长情况，服务器的处理能力冗余30%。uETL服务器实际所需TPCC：TPCCMAX（TPCC（E），TPCC（T），TPCC（L）*（1+增加服务器处理能力%）*（1+服务器的处理能力冗余%）记录数/（处理时间*60）*处理一条记录所需的事务数*（1+增加服务器处理能力%
15、）*（1+服务器的处理能力冗余%）=XXXX TpmCu扩容需求：考虑利旧主机的TpmC值是否可以达到数据集市的处理性能要求，如果不足则需要扩容投资。数据集市服务器性能计算：数据集市服务器有两种考虑：u建立在省公司的统一的数据集市服务器u建立在地市分公司的单独的数据集市服务器TPCC推荐计算公式如下：使用下列的条件对数据集市的处理能力需求进行分析：1)所有工作每日要求在X小时内完成；2)每日处理记录的数量大约为N；3)平均处理X条记录所需的事务数为1。则，需要的TPCC为：TPCC（数据集市）记录数/（处理时间*60）*处理一条记录所需的事务数如果建立在省公司的统一的数据集市服务器：可以综合考
16、虑主机性能和TPCC值的关系。如果建立在地市分公司的单独的数据集市服务器：则要根据用户数分摊主机性能到不同的地市分公司。性能指标：假设一台服务器一个CPU的时候，经测试得到TpmC值为3000。随着服务器的增加（在不考虑内存的需求，一般情况内存同步增多）CPU横向扩展的性能提高不是线性增长。注：在N个CPU的服务器增加一个CPU，假如如果单个CPU可以提供的TPCC值为T，则后增加的CPU为原来的服务器增加的TPCC大约为：T（97）N 。服务器并行，可提供的TpmC值扣除并行服务系统需要的CPU负荷后，可以提供的有效TpmC值和在单台服务器器增加处理器资源上相近。经计算预估300万用户的数据
17、集市主机性能要求如下：数据集市主机性能估算用户量3000000A用户话单/天10B移动来访话单（语音话单10%）1C移动结算话单（语音话单40%）4D短信话单（语音话单10%）1E其他新业务详单/天3总话单量57000000F日处理记录与详单数的比例系数1.3G平均每事务数处理的记录条数10H每日所有工作要求完成的时限（小时）2I系统冗余30%TPMC值80275（三）、数据集市存储平台投资建议数据集市存储平台：（）数据集市磁盘容量计算公式一般而言，数据库的物理磁盘容量计算方法为：最小磁盘空间需求MDSR (Minium Disk Space Requirements) = 原始数据*数据库及
18、相关工作空间因子*RAID因子*文件系统因子其中：u数据库及相关工作空间因子需要考虑系统缓冲区、工作空间、索引、临时表等因素。对于一般的数据仓库应用而言，此因子要求约为1.65，即为100GB的用户数据空间保留65GB的数据库管理和工作空间uRAID因子对于Raid 1和Raid 5两种磁盘数据保护技术而言RAID因子是不一样的：对于Raid5，此因子一般取为1.25；对于Raid1(镜像)，此因子为2。一般来讲，Raid1提供了比Raid5更好的性能以及数据保护机制，但是相应地可能造成投资的增加。u文件系统因子考虑到UNIX操作系统、RAID管理软件等因素而设。根据实际使用经验，此因子约为1
19、.1。（）数据集市存储容量需求计算如下计算按照地市300万用户对主要数据进行估算，本次估算把数据库的活动空间相关因子平衡到各主要部分数据冗余上，由于从数据仓库直接加载到数据集市，因此忽略文件因子，具体计算结果如下：数据集市存储容量估算用户数(万)3000000主题名称编号实体名称每用户记录条数每条记录字节数数据存储时间详细说明小计(GB)合计(GB)（月）服务使用A移动CDR清单10300410801944B移动来访CDR清单4按移动CDR清单的10%计算108C结算话单4按移动CDR清单的40%计算432D短信清单4按移动CDR清单的10%计算108E其他新业务清单32004216服务主题F
20、用户资料2000630G用户历史2000424帐务主题H用户帐单13001311.748 I帐户帐单0.5250134.875J用户明细帐单10180421.6K其他营帐数据冗余按F-J之和的20%计算10.23 其他资料L渠道、SP、资源等数据按F-J之和的10%计算6.82 6.82 日志索引M按A-L之和的50%计算1014.61 1014.61 小计：3043.83 其它数据N宽表、中间表、临时表等按上述数据A-M的30%计算913.15 913.15 文件系统O计算中间临时文件、接口文件等3按上述数据A-L的20%计算93.66 93.66 小计：1006.80 raid5计算总计：5400.84 表1-1数据集市存储容量估算表（）ETL、OLAP、数据挖掘存储计算本部分可使用原有数据仓库系统的相关存储。（四）、数据集市软件平台考虑到数据仓库的特点，我们在系统软件的选择上应该保持开放性，并本着节约利旧的原则，尽量使用省公司已有的相关软件工具。本期工程前端展现原则上采用报表和查询等方式。底层数据仓库软件估算：数据集市软件的投资根据liences和具体的数据库厂商确定。数据集市应用软件估算：因各省公司地市数据集市的应用需求不等，并且实现的程度和复杂性取决于各省地市分公司的实际情况。因此，应用软件的具体投资需参照各厂商的报价。
