《安徽移动无线城市项目集成实施阳技术建议.doc》由会员分享，可在线阅读，更多相关《安徽移动无线城市项目集成实施阳技术建议.doc（20页珍藏版）》请在三一办公上搜索。
1、安徽移动无线城市项目集成实施技术建议书安徽移动无线城市项目集成实施技术项目建议书2012年3月目 录1 综述31.1 项目背景31.2 方案说明32 建设规模32.1 设计原则32.2 系统设计特色42.3 关键性能指标42.4 平均速率预测52.5 忙时集中系数与忙日集中系数的取定52.6 用户模型及建设规模的取定52.7 突发峰值系数62.8 计算依据73 系统设计方案73.1 服务器选型73.1.1 WWW门户服务器73.1.2 WAP门户和客户端门户服务器83.1.3 运营管理服务器103.1.4 第三方接口服务器103.1.5 搜索服务器103.1.6 数据库服务器113.2 带宽和
2、存储需求分析123.2.1 网络带宽分析123.2.2 数据库存储分析123.2.3 图片视频等文件存储分析123.3 系统组网方案133.3.1 网络拓扑133.3.2 服务器间逻辑关系143.3.3 设备清单153.3.4 网络ip及vlan需求153.4 双机方案163.4.1 数据库双机设计163.4.2 门户和接口服务器冗余设计163.4.3 网络冗余设计173.5 安全方案173.5.1 网络安全设计171 综述1.1 项目背景在三网融合迅速发展的大背景下，公众成为最大受益者，同时公众对各种信息获取途径、效率和方法要求越来越高。无线城市将利用公众常用的终端，向公众提供更多更全面的信
3、息，从而提高公众的信息生活水平。1.2 方案说明本方案就移动目前环境下，提出高安全性、高可用性、易扩容性和低成本性的设备集成方案。2 建设规模2.1 设计原则本系统设计方案遵循以下原则：（1）系统安全可靠性整个系统有高可靠性和安全性的保证，能有效的预防恶意攻击，并有完善的应急方案。（2）系统扩展性系统整体扩展性强，支持平滑方便的升级扩容，包括硬件存储、web服务器的易扩容性等。（3）低成本性充分考虑移动现有设备和环境，利旧现有设备。2.2 系统设计特色 面向服务的体系架构（Service Oriented Aritecture）面向服务的体系结构（service-oriented archit
4、ecture，SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。 统一服务管理平台（Service Management Platform）采用集中的服务管理平台，规范应用和服务的规格及标准，形成一致的应用申请、开发、测试、审核流程，形成统一的服务发布体系。2.3 关键性能指标门户访问业务的关键性能指标是衡量业务量大小的依据，也是衡量服务器性能压力的指标之一。业务的并发在线数 指该业务
5、同时在线用户的数量，主要应用于估算流服务能力。WAP门户访问次数 指用户登录到WAP Portal进行门户页面访问的次数。每刷新1个页面即为1次WAP门户访问。根据实际经验，每WAP登录用户登录1次将造成3次左右的页面刷新请求。客户端门户访问次数指用户使用客户端浏览页面的次数。每刷新1个页面即为1次客户端门户访问。根据实际经验，每客户端登录用户登录1次将造成5次左右的页面刷新请求。WWW门户访问次数指用户使用客户端浏览页面的次数。每刷新1个页面即为1次客户端门户访问。根据实际经验，每客户端登录用户登录1次将造成8次左右的页面刷新请求。2.4 平均速率预测用户使用业务的平均速率与网络资源以及请求
6、的页面大小有关。本工程设定网络资源速率不是瓶颈，从用户每次业务请求数据流大小预测用户的平均速率， 取定手机或者pad用户每次请求20Kbps，手机客户端用户为10Kbps，PC用户（非上传、下载行为）为200Kbps。2.5 忙时集中系数与忙日集中系数的取定根据移动以往数据作为参考依据，来取定忙日与忙时集中系数，这两个系数可以估算出当日业务峰值时的关键指标和当月业务高峰日的关键指标。忙时集中系数 = 当日业务量最大的一小时 / 当日总业务量；忙日集中系数 = 当月业务量最大的一天 / 当月总业务量；本方案建议忙时集中系数平均约为0.79，忙日集中系数为0.045。122.12.22.32.1.
7、32.1.42.6 用户模型及建设规模的取定根据多个相似工程经验，用类比法推测本工程用户规模及相关数据预测，按照多年移动项目经验参考www portal、wap portal和client portal访问比例大致为6:2:2，参照其他省份无线城市规模，取定本次工程注册用户数为300万，活跃用户数始终保持在100万左右，系统并发用户数为2万，其中手机客户端为6000并发数，由此可以得出到2012年年底用户模型及建设规模。本方案对WWW用户、WAP用户和客户端用户分别建立用户模型。用户模型及规模如表2.3-1所示。表2.3-1 2012年移动无线城市用户模型及规模预测业务类型预测指标WAP访问W
8、WW访问手机客户端访问使用该业务的使用用户数（万户）100300100活跃用户数(万户)206020用户每月使用次数（次）173.187.68180.83忙日集中系数0.0450.0450.045忙时集中系数0.0790.0790.079每秒业务平均速率（Kbps）3020020要求每次平均使用时长（秒）135110140带宽利用率70%本期建设用户规模（万）300后台管理员对平台进行管理的访问压力，根据经验可以取定管理员每天进行的管理操作并发量为500，每次操作业务的平均速率为300Kbps。2.7 突发峰值系数 根据历年移动业务的运营数据可知，奥运期间、世博期间和节假日期间，平台业务量会出
9、现非规律性增长，给系统带来突发的大压力和负载。由此本次方案建议采用突发峰值系数作为估算关键数据的参数之一。综合多方面因素并结合运营经验，本工程取定： WAP用户突发峰值系数1.3 客户端用户突发峰值系数1.2 WWW用户突发峰值系数1.42.8 计算依据根据建设规模方案中的主要参数值和估算，本次方案采用的计算依据如下：（1） 单用户忙时访问次数=每使用该业务的用户每月使用次数忙日集中系数0.045忙时集中系数0.079；（2） CAPS=单用户忙时访问次数使用该业务的使用(登录)用户数/3600；（3） 并发访问数 = CAPS平均时长突发系数（WAP取1.3，客户端取1.2，WWW取1.4）
10、；（4） 网络带宽需求（Mbps）=并发访问数业务每秒平均速率/带宽利用率/1024；（5） WAP使用用户1000万；客户端使用用户1000万；WWW使用用户3000万。以下的所有计算如果没有特殊说明，均依据上面的计算方法。3 系统设计方案3.1 服务器选型3.1.1 WWW门户服务器WWW门户服务器主要受理WWW用户的登录、页面访问、内容展现等业务请求或应用。根据用户规模及模型，本工程需满足门户应用服务器并发页面访问数为8000个/秒，带宽需求为2232.14Mbps。计算过程如下：WWW单用户忙时访问次数=87.68次*0.045*0.079=0.31次CAPS=0.31*60万/360
11、0=51.95WWW门户并发访问数=51.95*110*1.4=8000WWW门户服务器带宽需求=8000*200Kbps/70%/1024=2232.14Mbps本工程需满足8000个/秒WWW门户页面并发访问数。经压力测试，一台内存为8G的普通服务器可以处理约1500个并发在线数，一台内存为16G的普通服务器可以处理约1800个并发在线数。基于以上分析，本工程需3台内存为32G的服务器作为WWW门户应用服务器，采用负载均衡的方式，能力达到8000个/秒WWW门户访问并发请求的处理能力；考虑到今后业务发展，每台服务器均配置2个千兆网卡满足带宽及VLAN划分的需求。移动目前有CPU配置为4*8
12、core，内存配置为32GB，硬盘大小为300GB*2的HP BL685C G7刀片服务器，完全满足上面的需求。故本次工程将利旧该两台服务器。3.1.2 WAP门户和客户端门户服务器3.1.2.1 WAP门户需求估算WAP门户服务器主要受理WAP用户的登录、页面访问、内容展现等业务请求或应用。根据用户规模及模型，本工程需满足WAP门户应用服务器并发页面访问数为6000个/秒，带宽需求为251.12Mbps，计算过程如下：WAP单用户忙时访问次数=173.1次*0.045*0.079=0.62次CAPS=0.62*20万/3600=34.19WAP门户并发访问数=34.19 *135*1.3=6
13、000WAP门户服务器带宽需求=6000*30Kbps/70%/1024=251.12Mbps本工程需满足6000个/秒WAP门户页面并发访问数和251.12Mbps的带宽。经压力测试，一台内存为8G的普通服务器最多可以处理约1500个并发在线数，一台内存为16G的普通服务器最多可以处理约1800个并发在线数。基于以上分析，本工程需2台内存为32G的服务器作为WAP门户应用服务器，能力达到6000个/秒WAP门户访问并发请求的处理能力；考虑到今后业务发展，建议服务器配置2个千兆网卡以满足带宽及VLAN划分的需求。移动目前有CPU配置为4*8core，内存配置为32GB，硬盘大小为300GB*2
14、的HP BL685C G7刀片机，完全满足上面的需求。故本次工程将利旧该服务器。3.1.2.2 客户端门户需求估算客户端门户服务器主要受理手机客户端用户的登录、页面访问、内容展现等业务请求或应用。根据用户规模及模型，本工程需满足客户端门户应用服务器并发页面访问数6000个/秒，带宽需求为167.41Mbps。计算过程如下：WAP单用户忙时访问次数=180.83次*0.045*0.079=0.64次CAPS=0.64*20万/3600=35.71WAP门户并发访问数=35.71*140*1.2=6000WAP门户服务器带宽需求=6000*20Kbps/70%/1024=167.41Mbps基于以
15、上分析，本工程需满足6000个/秒门户页面并发访问数，需2台32G内存的服务器作为手机客户端门户应用服务器，能力达到6000个/秒客户端门户访问并发请求的处理能力；考虑到今后业务发展，建议服务器配置2个千兆网卡以满足带宽及VLAN划分的需求。移动目前有CPU配置为4*8core，内存配置为32GB，硬盘大小为300GB*2的HP BL685C G7刀片机，完全满足上面的需求。故本次工程将利旧该服务器。3.1.2.3 WAP门户和客户端门户服务器合用根据WAP门户和客户端门户需求估算，两个门户访问总并发量为12000，带宽需求为418.52Mbps，综合考虑服务器利旧情况和灾备需求，建议本次工程
16、WAP门户和客户端门户合用4台CPU配置为4*8core ，内存配置为32GB的HP BL685C G7刀片服务器，并使用Array 3520做负载均衡，这样可以在保证WAP和客户端门户性能需求的前提下，满足门户的负载均衡容灾的要求。3.1.3 运营管理服务器运营管理服务器用于后台管理系统平台，对内存和CPU要求较高，并且要求挂载存储。访问运营管理的并发数为500个/秒，带宽需求为500*300Kbps=150Mbps。基于以上分析，本工程采用利旧的2台HP BL465C刀片服务器（AMD Opteron 6134*2/16GB/300GB*2）作为后台运营管理服务器，能力达到3000个/秒访
17、问并发请求的处理能力，满足性能需求。3.1.4 第三方接口服务器第三方接口服务器用于与第三方接口、日志处理等服务器。本工程建议采用2台利旧HP BL685C G7刀片服务器作为第三方接口服务器，考虑到今后业务发展，每台服务器均配置2个千兆网卡以满足带宽及VLAN划分的需求。3.1.5 搜索服务器搜索主要负责统一调度、应用程序加速等功能。如共享搜索能力等。该服务器的性能压力来自于各个部件。根据实际测试情况，每次进行门户访问等事务处理会对搜索系统平均造成约0.2CAPS，而搜索操作会对搜索系统平均造成约2CAPS。取突发系数为WWW门户、WAP门户和客户端门户的突发系数平均数为1.3，使用时长取三
18、者的平均数3，根据上文计算的基础能力事务处理CAPS，本工程搜索系统性能需求为：搜索服务器CAPS=（搜索操作CAPS+门户访问CAPS*0.2）/70%= （2CAPS+（51.94+35.71+34.19）CAPS*0.2）/70%=37.67CAPS搜索服务器并发数=37.67CAPS*3*1.3=146.913因此，基于以上因素，本工程建议利旧2台HP BL685C G7刀片服务器（4CPU/32GB内存）。3.1.6 监控服务器监控服务器用于系统所有服务器告警监控、性能收集等功能。本工程建议采用2台利旧HP BL465C刀片服务器作为监控服务器，考虑到今后业务发展，每台服务器均配置2
19、个千兆网卡以满足带宽及VLAN划分的需求。3.1.7 数据库服务器本工程平台数据库主要为统一运营门户、统一内容管理和用户管理等功能提供数据存储和管理。统一运营门户涉及的数据主要包括操作员信息、权限信息、历史数据等；统一内容管理涉及的数据主要包括内容信息、内容管理信息等；用户管理主要处理、存储用户的信息等数据。根据实际测试经验，运营门户数据量较小，且用户量也较小，因此对运营数据库的压力较小。平台数据库的主要压力是由内容管理平台和用户管理造成的。具体性能计算如下： 计算依据：(1) 每处理1个运营管理和用户管理操作造成数据库操作为：数据库新增、删除、更新及查询等，其中查询可能涉及到联合查询等复杂的
20、处理；本文设定平均1个数据库操作需要进行约15次单位次数数据库操作。(2) 固定指标为40CAPS；(3) 每天需满足5000次的内容新增能力以及一定的审核/编辑能力，本文设定分钟发生的综合数据库操作为3000次。 CAPS的计算公式数据库CAPS =每秒综合操作次数*每次造成的数据库操作次数+固定指标； 计算结果运营数据库CAPS = 3000/60*15 + 40 = 790CAPS为了保证服务器的稳定性，建议服务器考虑70%的性能冗余，即服务器CAPS需求为790/70% = 1129CAPS。首先考虑利旧2台HP BL860CI2刀片服务器，工作在1+1主备的方式下，性能可以满足112
21、9CAPS，本期工程不需要购买其他设备。3.2 带宽和存储需求分析根据用户规模和模型，本次项目2012年将会有5000万左右用户，5544.41左右并发量。以下将根据此规模进行带宽和存储需求分析。总并发量为=WAP门户并发量6000+WWW门户并发量8000+客户端门户并发量6000+运营管理服务器并发量500=20500个/秒3.2.1 网络带宽分析300万有效用户， 20500并发，其中20000个并发来自门户服务器，500个来自运营管理服务器。根据计算依据中的计算公式：则最大出口带宽为 20000*业务每秒平均速率/带宽利用率/1024 = 20000*(30Kbps+20 Kbps +
22、200 Kbps)/3/70%/1024=2325.15Mbps。3.2.2 数据库存储分析300万用户信息和这些用户的留言等其他信息需要存储在数据库中，按照需要存储一年的数据量计算，则数据库存储需求为300G。考虑到冗余量，建议数据库存储大小为500G。3.2.3 图片视频等文件存储分析300万用户拥有的文本图片视频等文件，按照平均没人拥有文件大小为100KB计算，则最少需要300万*100KB=300G，考虑到冗余量，建议文件存储大小为500G。3.3 系统组网方案3.3.1 网络拓扑上图，Internet、CMNET网络通过移动IDC互联网接入域接入到华为防火墙，该防火墙用于内外网隔离；
23、防火墙通过光纤与华为核心交换机相连；刀片机使用两片刀片实现数据库HA功能，分别使用5台刀片作为WWW门户服务器，该WWW门户服务器采用负载访问模式提高并发访问；分别使用6台刀片作为WAP和客户端门户服务器，该门户服务器采用负载访问模式提高并发访问；使用两台刀片服务器实现后台运营管理功能；服务器采用光纤与HP存储相连，实现资源共享；所有刀片服务器通过双绞线与核心交换机相连。3.3.2 服务器间逻辑关系各个服务器及模块间的逻辑图如下：逻辑图说明：客户通过pc、pad或者手机访问平台的门户服务器，门户服务器首先查询客户访问的业务（包括数据库数据和图片、文本等）是否可以在搜索服务器中的缓存单元中找到，
24、如果找到则直接从缓存单元中取出，展现给客户；如果在缓存单元中无法找到，则从数据库（或者是文件存储）中读取数据库数据（或者是图片、文本等文件），并将该部分数据（文件）读入搜索服务器的缓存单元中，以备下次门户直接从缓存中读数据（这样可以加快读取速度，给客户良好感觉），管理服务器主要负责平台信息管理、用户权限管理、模板管理、内容发布管理等，接口服务器主要用来取第三方数据，并展现给客户。3.3.3 设备清单本项目需要由以下网络设备、服务器组成：设备名称数量功能备注防火墙2实现网络隔离，保证网络访问安全性利旧华为E1000防火墙交换机2实现不同网段之间访问互联，服务器接入网络设备利旧华为S9306和SA
25、N交换机负载均衡2实现均衡并发量、故障转移等功能利旧Array 3520WWW门户服务器3WWW门户接入服务器利旧HP BL685 G7刀片服务器WAP/客户端门户4WAP和客户端门户接入服务器利旧HP BL685 G7刀片服务器接口服务器2与第三方的接口服务器利旧HP BL685 G7刀片服务器数据库服务器2用于数据记录、访问利旧HP BL860CI2刀片服务器运营管理服务器2用于后台运营管理系统利旧HP BL465刀片服务器搜索服务器2用于搜索引擎和其他公共服务利旧HP BL685 G7刀片服务器监控服务器2监控所有服务器告警等利旧HP BL465刀片服务器存储1用于数据存储利旧HP EV
26、A 8100服务器具体列表见附件安徽移动无线城市新建项目设备信息.xls3.3.4 网络ip及vlan需求本工程一共使用11台刀片服务器，其中需要公网访问的服务器有运营管理服务器、接口服务器、WWW门户服务器和WAP/客户端门户，并且这些服务器需要可以访问公网；不用公网访问和访问公网的服务器有数据库服务器和搜索服务器。所有这11台服务器之间必须能够互通。建议所有服务器采用私网地址，需要公网互通的私网IP在防火墙上做映射处理。本方案中需要和公网互通的地址为两个管理服务器地址和两个负载均衡虚拟VIP地址。网络的网段划分是网络安全的重要的一部分，同时也是一项基本措施，其指导思想在于：将非法用户与网络
27、资源相互隔离，把不同需求的服务器划分为不同的网段，从而达到限制用户非法访问的目的。VLAN划分的主要目的是保护管理服务器，控制从公网对管理服务器的侵害。本项目设计vlan规划如下表：应用网段名称Vlan备注业务平台Vlan 24无线城市平台部署网段数据库Vlan 10数据库服务器网段3.4 双机方案为了保障主要的关键性业务正常有序运行，需要进行关键性业务服务器的双机热备（冷备）设计。本工程中关键性业务包括数据库、portal和接口业务，针对这三种业务分别采取下面容灾措施。3.4.1 数据库双机设计数据库服务器采用数据库HA配置，构建数据库的主备双机，当主服务器出现问题时候，所有资源全部转移到备
28、机，此时备机将其作用，HA切换时间为毫秒级单位，完全满足业务上的需求。另外针对数据库数据，进行自动导出备份，以备不时之需。3.4.2 门户服务器、接口服务器和搜索服务器冗余设计Portal服务器是对外的门户，如果该业务出现问题，直接的后果就是用户进入不了页面或者客户端。由此可知门户业务、接口业务和搜索功能业务均属于关键性业务。本次工程将利旧Array 3520负载均衡，将外部的访问平均负载到对应的门户服务器群上，另外将门户服务器的接口请求和搜索请求负载到对应的搜索服务器群和接口服务器群上，如果其中一台服务器业务出现问题，负载均衡将主动剔除该服务器，将所有访问转向正常的主机。负载均衡使用L4策略
29、，健康检查可以采用端口判断，具体策略如下表3.4.2-1所示：服务器VIP虚拟地址资源池会话保持功能备注www portal1VIP地址1（需要映射成公网地址）www门户farm开启www portal2www portal3Wap portal1VIP地址2（需要映射成公网地址）wap门户farm开启Wap portal2Wap portal3Wap portal4搜索服务器1申请的私网地址（不用映射公网）搜索服务器群搜索服务器2接口服务器1申请的私网地址（不用映射公网）接口群接口服务器23.4.3 网络冗余设计建议本次利旧的网络设备均采用双机冗余设计，将防火墙、交换机和负载均衡配置为主备方
30、式，并且要经过严格的测试来验证，如果某条线路故障，平台任然可以对外提供服务。3.5 安全方案3.5.1 网络安全设计保证系统网络安全的首要问题就是要规划合理的网络拓扑结构，合理划分网段，利用防火墙和交换机等网络设备的安全机制实施访问控制。使用VLAN技术，进行合理的网络分段，既可以节约成本，又可以保障重要网段的安全，同时减少广播和冲突，提高系统的可用性。对于更高安全级别的隔离措施，可以采用路由器或防火墙等进行隔离。目前，系统网络中，需要采取一定的网络隔离措施来实现访问控制，保障网络和主机系统的安全，尤其是与现有的内部网络之间的关键性数据交互的安全性和一致性。在此基础上，本方案建议利旧现有网络和
31、安全设备采用如下措施，提高平台的安全性： 通过局域网交换机划分VLAN，将不同业务功能的系统分开； 在直接连接公网的出口，部署防火墙系统，对外网、内网的访问进行严格的访问控制，阻挡绝大多数的来自网络外部的攻击； 对于平台和现有的其他业务支撑系统、资源能力系统之间的必要数据做严格的安全控制，保证进入内部网络的数据都是合法和预期的； 所有的主机服务器系统选用安全服务，包括安全加固优化服务，安全响应服务，日常支持服务等，来全面保障主机系统的安全；3.5.1.1 防火墙系统防火墙被用来设置在被保护网络和外部网络之间，成为一道屏障，以防止发生不可预测的、潜在破坏性的侵入。它可通过监测、限制、更改跨越防火
32、墙的数据流，尽可能地对外部屏蔽网络内部的信息、结构和运行状况，以此来实现网络的安全保护。防火墙系统已经基本成为和路由器、交换机等具有同等地位的网络基础设备。它能够把来自网络外部的绝大多数非法访问拒之门外。根据工程的网络设计情况，并考虑移动现有设备和机房环境，系统平台在连接出口位置部署2台防火墙，设置严格的访问策略和包过滤策略，严格限制外网对内部系统的访问。在防火墙设置上，我们提出如下配置建议，以提高网络安全性： 根据整体安全策略和安全目标，规划设置正确的安全过滤规则，审核IP数据包的内容包括协议、端口、源地址、目的地址、流向等项目，严格地禁止来自公网对平台的不必要的、非法的访问，同时严格控制从
33、本平台向内部网络发送的数据请求。总体上遵从“不被允许的服务就是被禁止”的原则； 将防火墙配置成过滤掉以内部网络地址进入的IP包，这样可以防范源地址假冒和源路由类型的攻击，包括DOS或DDOS攻击等：过滤掉以非法IP地址离开内部网络的 IP 包，防止内部网络发起的对外的攻击； 对于平台内部的系统，可以考虑采取私网地址，使网络外界无法发现网络内部的真实地址； 考虑禁止一切从公网发起的对平台内部服务器的访问（除门户服务器、接口服务器和运营管理服务器外），包括ICMP、UDP、TCP等，如必须从外网对内网主机进行管理，要进行严格的访问控制，并采取SSH安全传输方式，通过安全检查才允许进入； 对于防火墙的远程管理可以考虑SSH等安全传输方式，尽可能不用Telnet等明文传输的连接方式；具体的华为E1000防火墙相关配置（例如，哪些服务器IP地址可以访问内部网络、访问目的IP地址、访问什么目的端口、协议类型等等）需要等项目实施阶段作进一步规划和调整，并在施工方案中进行详细的落实和确认。20
