最全面的门户网站架构设计方案和对策.docx

上传人:小飞机 文档编号:5333923 上传时间:2023-06-27 格式:DOCX 页数:40 大小:666.81KB
返回 下载 相关 举报
最全面的门户网站架构设计方案和对策.docx_第1页
第1页 / 共40页
最全面的门户网站架构设计方案和对策.docx_第2页
第2页 / 共40页
最全面的门户网站架构设计方案和对策.docx_第3页
第3页 / 共40页
最全面的门户网站架构设计方案和对策.docx_第4页
第4页 / 共40页
最全面的门户网站架构设计方案和对策.docx_第5页
第5页 / 共40页
亲,该文档总共40页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

《最全面的门户网站架构设计方案和对策.docx》由会员分享,可在线阅读,更多相关《最全面的门户网站架构设计方案和对策.docx(40页珍藏版)》请在三一办公上搜索。

1、前台门户网站架构设计方案北京宽连十方数字技术有限公司2012-7目录1 设计思路32 系统结构.33 网络规划及性能计算错误!未定义书签。3.1 网络架构83.2 网络架构说明错误!未定义书签。3.2.1 采用双防火墙双交换机做网络冗余,保障平台服务83.2.2 采用硬件设备负载均衡器,实现网络流量的负载均衡83.3 系统测算错误!未定义书签。3.3.1 系统处理能力要求343.3.2 业务处理能力要求错误!未定义书签。3.3.3 系统话务模型错误!未定义书签。3.4 配置核算错误!未定义书签。3.4.1 数据库服务器性能核算错误!未定义书签。3.4.2 WEB服务器集群性能核算错误!未定义书

2、签。3.4.3 WEB服务器集群内存性能核算错误!未定义书签。3.4.4 网络带宽354 性能模拟测试及性能推算错误!未定义书签。4.1 测试环境错误!未定义书签。4.2 测试结果错误!未定义书签。4.2.1 1个客户端模拟不同线和并发请求结果错误!未定义书签。4.2.2 10个客户端请求错误!未定义书签。4.3 结果分析错误!未定义书签。4.4 根据测试结果推算错误!未定义书签。4.5 设备清单354.5.1 硬件设备配置清单错误!未定义书签。4.5.2 设备技术规格错误!未定义书签。4.6 平台扩容的建议351网站的性能瓶颈分析网站的性能影响因素很多,下面主要从如下4个方面进行分析说明:1

3、)网络负载a)公网负载b)内网负载2)WEB应用服务器性能a)CPUb)存储,I/O访问c)内存d)并发TCP/IP连接数3)数据库服务器性能a)数据库参数配置b)服务器性能(CPU、内存、存储)c)数据结构的合理性4)不同WEB应用的处理方式而对不同的性能瓶颈a)对于静态的网站:静态的HTML页面严格地由标准的HTML标示语言构成,并不需要服务器端即时运算生 成。这意味着,对一个静态HTML文档发出访问请求后,服务器端只是简单地将该文档传 输到客户端。从服务器运行的那个时间片来看,这个传输过程仅仅占用了很小的CPU资源。 对于静态HTML的访问瓶颈为:网络带宽、磁盘I/O以及c ache(高

4、速缓冲存储器)。b)对于动态页面因为服务器解析动态页面必须在其传输到客户端前就通过服务器来进行解释,这样就 会给应用服务器添加额外的性能消耗,如果进一步要访问数据库,则会增加数据库服务器 的性能消耗,则动态页面还有额外的瓶颈:应用服务器的性能,数据库服务器的性能。2系统架构设计2.1总体思路为提高网站的高并发性能,提高开发效率及运营效率,主要按如下几个思路进行规划设计:2.1.1负载均衡1)四层交换负载均衡:采用负载均衡器来实现硬件级的四层交换负载均衡,或采用LVS来实现软件的四层交换负载均 衡。2)通过第三方软件来实现负载均衡,同时实现页面请求的缓存。通过Nginx实现反向代理服务器集群,同

5、时搭建squid集群以作为静态页面和图片的缓存。3)通过web服务器的配置来实现负载均衡即通过apache或是Nginx将客户请求均衡的分给tomcat1,tomcat2.去处理。2.1.2 WEB应用开发架构思路1)应用开发实现MVC架构三层架构进行web应用开发2)页面尽可能静态化以减少动态数据访问,如果是资讯类的网站可以考虑采用第三方开源 的CMS系统来生成静态的内容页面。3)采用Oscache实现页面缓存,采用Memcached实现数据缓存4)采用独立的图片服务器集群来实现图片资源的存储及WEB请求2.1.3数据存储的设计思路1)数据库拆分,把生产数据库和查询数据库分离,对生产数据库采

6、用RAC实现数据库的集 群。2)采用高效的网络文件共享策略,采用图片服务器来实现页面的图片存储。2.1.4不同网络用户访问考虑1)通过引ACDN来解决不同网络服务商的接入速度问题,一般只能解决静态页面的访问问题。2)在不同运营商机房部署服务器,通过镜像技术来实现不同网络服务商的接入速度问题。2.2总体架构2.2.1网站的系统分层架构硬件四层交换负载均衡器软件四层交换LVSNginx proxySquid负载均衡WEB服务器架构数据存储反向代理软件(数据缓存)WEB服务(Apache+tomcat负载均衡)MVC应用架构应用级缓存Squid cacheApacheTomatControlMode

7、lNginx cacheTomatView数据持久层页面缓存 数据缓存(ibatis)(OSCache)(Memcached)文件文享 NFS HDFS数据库生产数据库查询数据库2.2.2网站的物理架构服务器1 服务器2服务器1服务器2服务器1服务器2Squid服务器集群图片服务器集群Web服务器集群AWeb服务器集群B代理服务器集群(Nginx)服务器1服务器n2.2.3网站的开发架构通讯层中心业务层持久层数据层WEB服务器数据存储SMS基于struts的MVC框架ORMMMSWAP PUSHControlibatis、文件存储O HDFSView请求数据Model页面缓存(Memcache

8、d)短信群发器彩信群发器C3p0Apache Tomat . Tomat 容器:jK/ .、后台支HTML静撑模块态化模块统计支撑模块业务支撑模块数据库DB连接池2.2.4网络拓扑结构主防火墙备防火墙服务器1服务器光纤交换机(Nginx)磁盘阵列柜磁盘阵列柜代理服务器集群备注:1)采用双防火墙双交换机做网络冗余,保障平台服务采用双防火墙通知接通2线路互联网接入,设备之间采用VRRP协议,在任何一个防火墙、 互联网发生故障后均可自动将流量切换到另一端,保证网站的正运行,设备或网络恢复后, 自动恢复。采用双千兆交换机分别接在2台防火墙上,当某台设备或者网络链路发生故障后,好设 备自动接管已坏设备的

9、工作,不影响网站的整体运行,根据业务及真实服务器的数量,交换 机可以随时增加。2)采用硬件设备负载均衡器,实现网络流量的负载均衡使用硬件设备负载均衡器,将网络流量均衡的分担到WEB服务器集群各节点服务器,保 障平台服务器资源均衡的使用。3)采用代理服务器,实现软件级的网络负载均衡。4)数据库服务器分离成生产数据库集群和查询数据库集群,实现生产读写与后台查询统计 进行分离,同时生产数据库采用rac技术进行2.3架构涉及技术的详解2.3.1负载均衡1. 基于DNS的负载均衡-一个域名绑定多个IPDNS负载均衡技术是最早的负载均衡解决方案,它是通过DNS服务中的随机名字解析来实现 的,在DNS服务器

10、中,可以为多个不同的地址配置同一个名字,而最终查询这个名字的客户机将在 解析这个名字时得到其中的一个地址。因此,对于同一个名字,不同的客户机会得到不同的地址, 它们也就访问不同地址上的Web服务器,从而达到负载均衡的目的。这种技术的优点是,实现简单、实施容易、成本低、适用于大多数TCP/IP应用;但是,其缺点 也非常明显,首先这种方案不是真正意义上的负载均衡,DNS服务器将Http请求平均地分配到后台 的Web服务器上,而不考虑每个Web服务器当前的负载情况;如果后台6的Web服务器的配置和处理 能力不同,最慢的Web服务器将成为系统的瓶颈,处理能力强的服务器不能充分发挥作用;其次 未考虑容错

11、,如果后台的某台Web服务器出现故障,DNS服务器仍然会把DNS请求分配到这台故 障服务器上,导致不能响应客户端。最后一点是致命的,有可能造成相当一部分客户不能享受Web 服务,并且由于DNS缓存的原因,所造成的后果要持续相当长一段时间(一般DNS的刷新周期约为 24小时)。所以在国外最新的建设中心Web站点方案中,已经很少采用这种方案了。2. 通过硬件四层交换实现负载均衡在硬件四层交换产品领域,有一些知名的产品可以选择,比如Alteon、F5等,这些产品很昂贵, 但是物有所值,能够提供非常优秀的性能和很灵活的管理能力。Yahoo中国当初接近2000台服务器 使用了三四台Alteon就搞定了3

12、. 通过软件四层交换实现负载均衡软件四层交换我们可以使用Linux上常用的LVS来解决,LVS就是Linux Virtual Server,他提 供了基于心跳线heartbeat的实时灾难应对解决方案,提高系统的鲁棒性,同时可供了灵活的虚拟 VIP配置和管理功能,可以同时满足多种应用需求,这对于分布式的系统来说必不可少。一个典型的使用负载均衡的策略就是,在软件或者硬件四层交换的基础上搭建squid集群,这 种思路在很多大型网站包括搜索引擎上被采用,这样的架构低成本、高性能还有很强的扩张性。4. 通过反向代理服务器实现负载均衡反向代理服务器又称为WEB加速服务器,它位于WEB服务器的前端,充当W

13、EB服务器的内容 缓存器,反向代理服务器是针对WEB服务器设置的,后台WEB服务器对互联网用户是透明的,用 户只能看到反向代理服务器的地址,不清楚后台WEB服务器是如何组织架构的。当互联网用户请 求WEB服务时,DNS将请求的域名解析为反向代理服务器的IP地址,这样URL请求将被发送到 反向代理服务器,由反向代理服务器负责处理用户的请求与应答、与后台WEB服务器交互。利用反向代理服务器减轻了后台WEB服务器的负载,提高了访问速度,同时避免了因用户直接与WEB服 务器通信带来的安全隐患。Web Server (.luster目前有许多反向代理软件,比较有名的有Nginx和Squid。Nginx是

14、由Igor Sysoev为俄罗斯访问量第二的Rambler.ru站点开发的,是一个高性能的 HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP代理服务器。Squid是由美国政府大力资助的一项研究计划,其目的为解决网络带宽不足的问题,支持HTTP, HTTPS,FTP等多种协议,是现在Unix系统上使用、最多功能也最完整的一套软体。1) SquidSquid是一个开源的软件,利用它的反向代理技术可以提高网站系统的访问速度,下面将重点 介绍Squid反向代理的实现原理和在提高网站性能方面的应用。Squid反向代理服务器位于本地WEB服务器和Internet之间,组织架构如下图:Web

15、Server客户端请求访问WEB服务时,DNS将访问的域名解析为Squid反向代理服务器的IP地址, 这样客户端的URL请求将被发送到反向代理服务器。如果Squid反向代理服务器中缓存了该请求 的资源,则将该请求的资源直接返回给客户端,否则反向代理服务器将向后台的WEB服务器请求 资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。Squid反向代理一般只缓存可缓冲的数据(比如html网页和图片等),而一些CGI脚本程 序或者ASP、JSP之类的动态程序默认不缓存。它根据从WEB服务器返回的HTTP头标记来缓冲 静态页面,有四个最重要HTTP头标记: Last-M

16、odified:告诉反向代理页面什么时间被修改 Expires:告诉反向代理页面什么时间应该从缓冲区中删除 Cache-Control:告诉反向代理页面是否应该被缓冲 Pragma:用来包含实现特定的指令,最常用的是Pragma:no-cache注:DNS的轮询机制将某一个域名解析为多个IP地址。2)NginxNginx ( “engine x” )是俄罗斯人Igor Sysoev(塞索耶夫)编写的一款高性能的HTTP和反向 代理服务器。Nginx已经在俄罗斯最大的门户网站 Rambler Media (www.rambler.ru)上运行了4年时间,同时俄罗斯超过20%的虚拟主机平台采用Ng

17、inx作为反向代理服务器。在国内,已经有新浪博客、新浪播客、搜狐通行证、网易新闻、网易博客、金山逍遥网、金山 爱词霸、校内网、YUPOO相册、豆瓣、迅雷看看等多家网站、频道使用Nginx服务器。Nginx特点如下:1)工作在O SI模型的第7层(应用层)2)高并发连接官方测试能够支撑5万并发连接,在实际生产环境中跑到23万并发连接数。3)内存消耗少在3万并发连接下,开启的10个Nginx进程才消耗150M内存(15M*10=150M)。4)配置文件非常简单风格跟程序一样通俗易懂。5)成本低廉Nginx为开源软件,可以免费使用。而购买F5 BIG-IP、NetScaler等硬件负载均衡交换机 则

18、需要十多万至几十万人民币。6)支持Rewrite重写规则能够根据域名、URL的不同,将HTTP请求分到不同的后端服务器群组。7)内置的健康检查功能如果Nginx Proxy后端的某台Web服务器宕机了,不会影响前端访问。8)节省带宽支持GZIP压缩,可以添加浏览器本地缓存的Header头。9)稳定性高用于反向代理,宕机的概率微乎其微。3)Nginx+squid页面缓存来实现反向代理负载均衡通过Nginx反向代理和squid缓存实现动静分离的架构图如下所示:Nginx瓦向代理负裁均衡 动静分离京统架枸图listen 61.1.1 2:80:或者直接通过Sqwd目身的 c ache_p电s轮询多台

19、W七卜机用户访问 http:/Zww. bc. comserv&r侦载均衡喘彼存的血吟I I I li |i 励态FHP请求分到: Apache服务器群)1外网TP : 61.1. 12 Kginx. conf 配置 槌动登分离员载均衡):NGSMX内网IP : 192,168.1 2NodfeN- l ITrfi&tal Inrtarice)5. Apache +tomcat集群实现负载均衡。使用apache和多个tomcat配置一个可以应用的web网站,用Apache进行分流,把请求按照权 重以及当时负荷分tomcat1,tomcat2.去处理,要达到以下要求:1)Apache做为Http

20、Server,通过mod_jk连接器连接多个tomcat应用实例,并进行负载均衡。2) 同时还要配置session复制,也就是说其中任何一个tomcat的添加的session,是要同步复制 到其它tomcat,集群内的tomcat都有相同的session,并为系统(包括Apache和tomcat) 设定Session超时时间。2.3.2缓存1. 系统架构方面的缓存1) Squid 缓存架构方面使用Squid进行缓存。注:SQUID使用了肱算法,LM就是页面遍泌,里时间(Dote)和以*肱0顿必时间 的差。Dote一般是网湖从后面取页面的时间,Lo邮伽她W 般是页面生成时间。2) Nginx的缓

21、存功能Nginx从0.7.48版本开始,支持了类似Squid的缓存功能;缓存把URL及相关组合当作Key,用md5编码哈希后保存;Nginx的Web缓存服务只能为指定URL或状态码设置过期时间,不支持类似Squid的PURGE指 令,手动清除指定缓存页面;采用MMAP实现,设置的缓存区大小不能超过物理内存+SWEB的值3) 基于memcached的缓存nginx对memcached有所支持,但是功能并不是特别之强,性能上还是非常之优秀。location /mem/ if ( $uri f/mem/(0-9A-Za-z_*)$)set $memcached_key $1;memcached_pa

22、ss 192.168.1.2:11211;expires 70;这个配置会将Nginx目前没有写入memcached的任何机制,所以要往memcached里写入数据得用后台的动 态语言完成,可以利用404定向到后端去写入数据。传统缓存的缺点也是它和?血等缓存软件的不同之特色,所以也可看作其优 点。在生产应用中它常常用作勒血的搭档,SQ湖对于带?的链接往往无法阻挡, 而gi心能将其访问拦住,例如: 会被当做两个链接,、所以会造成两次穿透;而如只会保存一次,无论链接变成 还是httP:/ZS 缓存,从而有效 地保护了后端主机。“gMr会非常老实地将链接形式保存到文件系统中,这样对于一个链接,可以很

23、方 便地查阅它在缓存机器上的缓存状态和内容也可以很方便地和别的文件管理器如 rsyc等配合使用,它完完全全就是一个文件系统结构。2. 应用程序方面的缓存1)OSCacheOSCache由OpenSymphony设计,它是一种开创性的JSP定制标记应用,提供了在现有JSP页 面之内实现快速内存缓冲的功能,OSCache是个一个广泛采用的高性能的J2EE缓存框架,OSCache能用于任何Java应用程序的普通的缓存解决方案。OSCache有以下特点:缓存任何对象, 你可以不受限制的缓存部分jsp页面或HTTP请求,任何java对象都可以缓存。拥有全面的 API-OSCache API给你全面的程序

24、来控制所有的OSCache特性。永久缓存-缓存能随意的写入硬 盘,因此允许昂贵的创建(expensive-to-create)数据来保持缓存,甚至能让应用重启。支持集群 -集群缓存数据能被单个的进行参数配置,不需要修改代码。缓存记录的过期-你可以有最大限度的 控制缓存对象的过期,包括可插入式的刷新策略(如果默认性能不需要时)。OSCache是当前运用最广的缓存方案,JBoss,Hibernate,Spring等都对其有支持。OSCache的特点:1)缓存任何对象:你可以不受限制的缓存部分jsp页面或HTTP请求,任何java对象都可以缓存。2)拥有全面的API: OSCache API允许你通

25、过编程的方式来控制所有的OSCache特性。3)永久缓存:缓存能被配置写入硬盘,因此允许在应用服务器的多次生命周期间缓存创建开销 昂贵的数据。4)支持集群:集群缓存数据能被单个的进行参数配置,不需要修改代码。5)缓存过期:你可以有最大限度的控制缓存对象的过期,包括可插入式的刷新策略(如果默认 性能不能满足需要时)。2)Memcachedmemcached是高性能的分布式内存缓存服务器。一般的使用目的是,通过缓存数据库查询结果, 减少数据库访问次数,以提高动态Web应用的速度、提高可扩展性。Memcached是以Key/Valu e的形式单个对象缓存。RDBMSRDBMS苣次问习:从RDBMS口

26、取得数据噪存到memcached 尊二次言:从memech知口取:B数据豆示女面浏览器memcachedmemcachedmemcachedmemwohedj应用服务器3)自主开发的内存数据缓存服务a)独立进程方式的缓存服务对于一些常用的动态数据通过开发程序服务缓存在内存中,提供给其他子系统调用,如下面 的数据就可以通过这样方式进行缓存。1)用户基本信息及状态的信息缓冲2)列表缓存,就像论坛里帖子的列表3)记录条数的缓存,比如一个论坛板块里有多少个帖子,这样才方便实现分页。4)复杂一点的group,sum,count查询,比如积分的分类排名b)集成在WEB应用中的内存缓存在web应用中对于热点

27、的功能,考虑使用完全装载到内存,保证绝对的响应速度,对于需要 频繁访问的热点数据,采用集中缓存(多个可以采用负载均衡),减轻数据库的压力,比如:很多 配置信息,操作员信息等等。2.3.3页面静态化静态的HTML页面严格地由标准的HTML标示语言构成,并不需要服务器端即时运算生成。 这意味着,对一个静态HTML文档发出访问请求后,服务器端只是简单地将该文档传输到客户端。 从服务器运行的那个时间片来看,这个传输过程仅仅占用了很小的CPU资源。页面静态化就是采用效率最高、消耗最小的纯静态化的html页面来替换动态页面。我们尽可 能使我们的网站上的页面采用静态页面来实现,这个最简单的方法其实也是最有效

28、的方法。同时采用第三方开源的CMS系统来实现网站内容的管理。对于大量内容并且频繁更新的网 站,我们无法全部手动去挨个实现页面静态化,所以我们需要引入常见的信息发布系统(CMS), 信息发布系统(CMS)可以实现最简单的信息录入自动生成静态页面,对于一个大型网站来说,拥 有一套高效、可管理的CMS是必不可少的。同时,HTML静态化也是某些缓存策略使用的手段,对于系统中频繁使用数据库查询但是内 容更新很小的应用,可以考虑使用HTML静态化来实现,比如论坛中论坛的公用设置信息,这些 信息目前的主流论坛都可以进行后台管理并且存储再数据库中,这些信息其实大量被前台程序调 用,但是更新频率很小,可以考虑将

29、这部分内容进行后台更新的时候进行静态化,这样避免了大 量的数据库访问请求。在进行html静态化的时候还可以使用一种折中的方法,就是前端继续使用动态实现,在一定 的策略下通过后台模块进行定时把动态网页生成静态页面,并定时判断调用,这个能实现很多灵 活性的操作。为了提高静态HTML的访问效率,主要可以对以下几个方面进行优化:网络带宽、磁盘I/O 以及cache(高速缓冲存储器)。2.3.4数据库配置及优化1. 数据库集群对生产数据库采用RAC实现数据库的集群。2. 数据库及表的散列把生产数据库和查询数据库进行分离,针对系统业务数据的特点,把大的表进行拆分,对于访 问较多的表采用分区表。使用读/写数

30、据库分离,随着系统变得越来越庞大,特别是当它们拥有很差的SQL时,一台数 据库服务器通常不足以处理负载。但是多个数据库意味着重复,除非你对数据进行了分离。更一般 地,这意味着建立主/从副本系统,其中程序会对主库编写所有的Update、Insert和Delete变更语句, 而所有Select的数据都读取自从数据库(或者多个从数据库)。尽管概念上很简单,但是想要合理、精确地实现并不容易,这可能需要大量的代码工作。因 此,即便在开始时使用同一台数据库服务器,也要尽早计划在PHP中使用分离的DB连接来进行读写 操作。如果正确地完成该项工作,那么系统就可以扩展到2台、3台甚至12台服务器,并具备高可 用

31、性和稳定性。3. 拥有良好的DB配置和备份很多公司都没有良好的备份机制,也不知道如何恰当地完成这项工作。只有Imp是不够的,还 需要进行热备份,从而得到超快的速度和超高的可靠性。另外,在将所有备份文件从服务器上转移出来之前要进行压缩和加密。另外还要确保拥有设计 合理的、有用的关于安全、性能和稳定性问题的设定,包括防止数据败坏,其中很多设定都是非常 重要的。2.3.5文件存储1. 文件共享1) HDFS (GFS)HDFS是Apache Hadoop项目中的一个分布式文件系统实现,基于Google于2003年10月发 表的 Google File System(GFS)论文。特性1) 硬件要求低

32、2) 高容错性3) 易可扩展4) 配置简单5) 超大文件HDFS 采用 master/slave 架构。一个HDFS集群是由一个Namenode和一定数目的。atanodes组成。Metadata NamenodeMetadata (Name, replicas, .)/home/foo/data, 3,.Read DatanodesDatanodesRack 1ReplicationWriteRack 2HDFS ArchitectureClient2) NFS与GFS比较首先从它们的功能上进行分析。NFS即网络文件系统,是由SUN公司开发的。它是FreeBSD 支持的文件系统中的一种,允许

33、一个系统在网络上与它人共享目录和文件。通过使用NFS,用户 和程序访问远端系统上的文件就像访问本地文件一样。而GFS是Google为了满足本公司迅速增长的数据处理要求而开发的文件系统。GFS是一个 可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它是针对Google 的计算机集群进行设计的,专门是为Google页面搜索的存储进行了优化。所以从功能上看,它们两者是完全不同的概念。其次从结构上比较,NFS至少包括两个主要部分:一台服务器,以及至少一台客户机。被共 享的目录和文件存放在服务器上,客户机远程地访问保存在服务器上的数据。GFS则由一台Master(通常有几台备份)

34、和若干台TrunkServer构成。GFS中文件备份成固定 大小的Trunk分别存储在不同的TrunkServer上,每个Trunk有多份(比如3)拷贝,也存储在不同 的TrunkServer上。Master负责维护GFS中的Metadata,即文件名及其Trunk信息。客户端先从 Master上得到文件的Metadata,根据要读取的数据在文件中的位置与相应的TrunkServer通信, 获取文件数据。再从跨平台性上,NFS的基本原则是“容许不同的客户端及服务端通过一组RPCs分享相同 的文件系统”,它是独立于操作系统的,容许不同的操作系统共同地进行文件的共享。而GFS则没有这一特点,文件只

35、能被集群系统中的PC所访问,而且这些PC的操作系统一般 是Linuxo最后从规模上比较,HDFS只应用在大批量的数据共享上。目前Google拥有超过200个的 GFS集群,其中有些集群的PC数量超过5000台。集群的数据存储规模可以达到5个PB,并且集 群中的数据读写吞吐量可达到每秒40Go而NFS 一般没有这么巨大的规模。2. 文件的多服务器自动同步使用L inux 2.6内核的inotify监控Linux文件系统事件。利用开源的lsync监听某一目录,如果目录内文件发生增、删、改,利用Rsync协议自动同 步到多台服务器。3. 图片服务器分离特别是如果程序与图片都放在同一个APAHCE的服

36、务器下,每一个图片的请求都有可能 导致一个HTTPD进程的调用。使用独立的图片服务器不但可以避免以上这个情况,更可以对不同的使用性质的图片设置不 同的过期时间,以便同一个用户在不同页面访问相同图片时不会再次从服务器(基于是缓存服务 器)取数据,不但快速,而且还省了带宽。还有就是,对于缓存的时间上,亦可以做独立的调节。2.3.6网络问题解决方案你不可能要求所有的使用人员,都和你的服务器在一个运营商的网络内,而不同网络之间访问 速度会很慢,我们可以采用镜像网站和引入CDN来解决这一问题。用户其他 用户网通 用户CDN服务器1服务器n电信 用户服务器1服务器n服务器1服务器n动态内容(社区、投票、调

37、 查、搜索、点评、视频)静态内容(静态网页、图片)电信机房多线机房网通机房1.智能DNS解析我们可以在不同的网络运营商部署web服务器,通过linux上的rsync工具自动同步到不同网络 接入商的web服务器上,以作为主站的镜像。然后通过配置智能DNS解析来引导不同网络的访问用户到对应的网络运营商l的web服务器。2. CDN如果有足够的投资,也可以采用CDN(内容分发网),把静态内容(静态页面和图片)进行CDN 缓存,以减轻服务器压力。CDN的全称是Comem Delivery Ne而orA,即内容分发网络。它采取了分布式网络缓 存结构(即国际上流行的沥皿如技术),其目的是通过在现有fife

38、e泌中增加 一层新的网络架构,将网站的内容发布到最接近用户的网络边缘,使用户可以就 近取得所需的内容,解决如erme网络拥挤的状况,提高用户访问网站的响应速度。 从技术上全面解决由于网络带宽小用户访问量大、网点分布不均等原因所造成的 用户访问网站响应速度慢的问题。(也就是一个服务器的内容,平均分部到多个服 务器上,服务器智能识别,让用户获取离用户最近的服务器,提高速度。目前,国内访问量较高的大型网站如新浪网易等,均使用CDN网络加速技术, 虽然网站的访问巨大,但无论在什么地方访问都会感觉速度很快。而一般的网 站如果服务器在网通,电信用户访问很慢,如果服务器在电信,网通用户访问 又很慢。2.3.

39、7 WEB应用开发架构设计思路1. 基于MVC的三层应用开发架构应用开发实现MVC三层架构进行web应用开发,采用ibatis作为持久层框架,c3p0作为数据库连 接池。iBATIS是一个可以设计和实现更好的Java应用程序持久化层的框架。iBATIS把对象和存储过程 或者使用XML描述符的SQL语句进行了关联。简单是iBATIS最大的优势ibatis-使用ibatis的十个理由1. 至少能操作10种以上的数据库2. 可配置的caching(包括从属)3. 支持 DataSource、local transaction managemen和 global transaction4. 简单的XM

40、L配置文档5. 支持 Map, Collection, List 和简单类型包装(如 Integer, String)6. 支持 JavaBeans 类(get/set 方法)7. 支持复杂的对象映射(如 populating lists, complex object models)8. 对象模型从不完美(不需要修改)9. 数据模型从不完美(不需要修改)10. 你已经知道SQL,为什么还要学习其他东西1) MVC架构示意Rexnote API Callsinternal event handlersChange LocationcontrollermodelApplicationjshand

41、lerf)handlerQ2) Struts 架构客户端发送一个HTTP请求,通过Strut s框架最后获得一个HTTP响应,这一过程非常重要,它 是理解Struts框架的重点。上图描述了Struts框架的结构,而下图通过一个活动图更具体描述接受请 求直至返回响应的整个过程:非引山坨受理 范围的请求总控制器接受这个HTTP请求调用ActionFom的伯lidate 0方法未通迁验证, 产生番误信息执仃成功2.面向服务的应用架构面向服务的应用架构是指构建可分布式的、去中心化的服务器平台,以提供许多不同的应用, 数据库被分成很多个小部分,围绕每个部分都会创建一个服务接口 (API),并且该接口是访

42、问数据库 的唯一途径。最终数据库演变成一个非常庞大的共享资源。这种架构是松散耦合的,并且围绕着服务进行构建。面向服务的架构提供给他们隔离特性,一 个服务可能有很多台数据库服务器,他们之间的数据是相通的,而对外他们的接口只有一个,外面 是无法知道这个服务后面的数据组织是如何搭建的。这样就有了越来越多的应用服务器。这些应用服务器从数据众多的服务(每个服务背后都有数 据库或集群数据库)中聚合信息,然后生成我们所看到的A的各个网站页面。这样各种服务如插件一样组成了一个开放的平台,这样团队的规模就会比较小,比较灵活。注Amazon就是采用了这种架构来构建的,它拥有上千台服务器。2.4系统软件参数优化在一

43、定的架构基础上,要提高并发处理能力则需要调整服务器的操作系统内核参数、web服务 器(tomcat的参数、apache的参数、Nginx的参数),以使其性能达到最优化。2.4.1操作系统优化调整系统的内核参数,增大连接数及TCP/IP的超时设置。Linux系统中:在/etc/sysctl.conf配置文件中增加如下内核参数:net.ipv4.tcp_syncookies = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_fin_timeout = 52.4.2 tomcat服务器优化增大并发连接数,调整内存参

44、数的设置。1、JDK内存优化:当应用程序需要的内存超出堆的最大值时虚拟机就会提示内存溢出,并且导致应用服务崩溃。 因此一般建议堆的最大值设置为可用内存的最大值的80%。Tomcat默认可以使用的内存为 128MB,在较大型的应用项目中,这点内存是不够的,需要调大.Tomcat默认可以使用的内存为128MB,Windows下,在文件/bin/catalina.bat,Unix下,在文 件/bin/catalina.sh的前面,增加如下设置:JAVA_OPTS=-Xms【初始化内存大小】-Xmx【可 以使用的最大内存】需要把这个两个参数值调大。例如:JAVA_OPTS=-Xms256m -Xmx512m 表示初始化内存为256MB,可以使用的最大内存为512MB。2、连接器优化:在tomcat配置文件server.xml中的配置中,和连接数相关的参数有:maxThreads: Tomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大 的线程数。默认值150。acceptCount:指定当所有可以使用的处理请求的线程数都被使用时,可以放到处理队列中 的请求数,超过这个数的请求将不予处理。默认值10。minSpareThreads: Tomcat初始化时创建的线程数。默认值25。maxSpareThreads: 一旦创建的线程超过

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 生活休闲 > 在线阅读


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号