好文推荐

细说五层网站架构,了解我们的网站压力究竟在哪里?

Jager · 3月28日 · 2014年 · 2508次已读

目前网站架构一般分成网页缓存层、负载均衡层、 WEB 层和数据库层,我其实一般还会多加一层,即文件服务器层,这样我们在后面的讨论过程中,我们可以依次用这五层对网站架构来进行讨论;这里为了更具有说服力,我将用三个并发较大的生产环境来说明下,一个是我现在维护的电子商务网站(并发最大峰值 2900,日 PV500 万左右)、我目前维护的电子广告网站(并发最大峰值 1500,日 PV150 万左右)、以前维护的大型 CDN 门户广告网站(并发最大峰值 5000,日 PV5000 万左右)。  

网页缓存层  

首先说下这个网页缓存层,比如 CDN 租赁(效果比公司自己部署 Squid/Varnish 要好,他们专业,价格低廉,比如快网/CC 等(价格 80 元/M/月不到)而且覆盖的城市更多),自己架设 squid/Varnish 是次选。另外,很多朋友喜欢尝试自建 CDN,这个是一个比较吃力不讨好的活儿,未必能达到预期目标,这块系统架构师在架设网站初期就有规划好,不要等到网站流量及压力巨大时才去规划。事实上,这一层有很多优
秀的开源软件都能胜利,比如传统的 Squid Cache,另外,后起之秀 Nginx 和 Varnish 因为性能优异,越来越多的朋友尝试在自己的网站使用他们作为自己的网页缓存,事实上,Nginx 已经具备 Squid 所拥有的 Web 缓存加速功能,此外,Nginx 对多核 CPU 的利用,胜过 Squid 不少,现在越来越来的架构师都喜欢将 Nginx 同时作为“负载均衡服务器”与“Web 缓存服务器”来使用,大家可以根据自己网站的情况,来决定究竟使用哪种软件来作为自己网站的网页缓存。

负载均衡层  

首先说下负载均衡层,我们熟悉的硬件/软件技术有 F5,LVS/HAProxy,还有 Nginx,它们的性能都是非常优异的,F5/LVS 现在在全世界范围内的应用,而且淘宝现在升级架构,也将 LVS 取代了 F5,HAProxy 可能大家不是特别熟悉,但 HAproxy+Keepalived 确实在生产环境下表现优异,强大的吞吐能力,稳定性比之
硬件过尤不及,并用淘宝也在大规模的推广使用 HAProxy,有兴趣的朋友也可以关注。再说下 Nginx,我是将 Nginx+Keepalived 架构用于了各种生产环境中的,经过长时间的线上观察,发现 Nginx 作为负载均衡器/反向代理也很稳定,如果并发压力过大,我们前面可以用 F5/LVS 作为最前端的负载均衡,而将 Nginx 作为七层代理,这样的效果其实也不差,所以负载均衡层的压力不能算是特别大。

WEB 层  

WEB 层这块压力比较大的网站现在都换成了 Nginx 作为 WEB 应用服务器,事实上,它的抗并发能力确实超过了预期;我现在维护的一家门户网站,高峰期时某台 Nginx 应用服务器的并发达到了一万以上,但 Nginx 也很负责和稳定的提供服务,在实际的生产环境中,如果我们考虑到后端的数据库服务时,一万并发应该也算是一个比较大的数值了。另外,Linux 集群有一个优势,就是它的高扩展性,就算我们的网站的并发有一万以上,我们后端的 WEB 服务是 Apache,我们多加几台 Apache 服务器即可,在实际的线上维护时,我们发现,高峰期间,实际上每台 WEB 的并发并不算是特别大,所以网站的压力在这一层我们也能通过技术手段加以克服。

文件服务器层 

现在大家的生产服务器一般是使用如下四种来作为自己的文件服务器层:

1)单 NFS+备份 NFS 作为文件服务器,这样的好处是维护方便,但存在着单点故障,需要人为手动干预;

2)DRBD+Heartbeat+NFS 高可用文件服务器,维护方便,也不存在着单点故障,但随着访问量的增大,后期一样存在着压力过大的情况;

3)分布式文件系统 MFS、Gluster,,MFS 易用,稳定,对海量小文件很高效,而且新版的 MFS 解决了

Master Server 存在着单点故障的问题, 国内越来越多的公司在使用 MFS。事实上,分布式文件系统是解决文件服务器压力过大的最终途径,但这个同时也有隐患,网站功能越多,摊子越大,机器越多,维护起来越复杂。

4)如果大家的公司是淘宝和腾记这种巨量级的公司,可以尝试开发自己的分布式文件系统了,大家可以尝试根据自己网站的情况,来决定究竟选择哪一种软件来作为自己的文件服务器。 

数据库层 

数据库层的压力,我觉得网站的 PV 和并发上去以后,数据库这块的压力是最大的,CDN 大型广告网站我们用的是 Oacle RAC 方案,它保证了数据的高可用性,当然了价格也是非常昂贵的(如果使用高配置的 PC 服务器,Oracle 一般按照 CPU 个数收费);那么免费的 MySQL 数据库,面对这种并发压力大的情况,这个时候我们应该怎么办呢?首先,我们可以在数据库加入 memcached 数据缓存,在实际线上使用时,我们也发现 memcached 功能强大,性能稳定,在数据库频繁读写,压力过大的情况下,增加一台 memcached 数据缓存服务器的效果能超过我们的预期。数据库的硬件方面可以考虑投入,磁盘阵列做成 RAID10,如果资金充裕,磁盘可以用固定硬盘来代替 SAS 硬盘,毕竟数据库的压力主要来自于磁盘 I/O 方面。合理的设计 MySQL 数据库的架构,事实上,在生产环境下,一主多从、读写分离是靠谱的设计方案,从 MySQL 的负载均衡我这里推荐大家使用 LVS,这是因为当后面的 MySQL 机器超过十台时,HAProxy 在这方面的性能不如 LVS。如果网站的业务量过大,我们可以采用分库的方法,比如将网站的业务量分成 Web、BBS、Blog 等几组,每一组均采用主从架构,这样设计的话就避免了单组数据库压力过大的情况。另外,我们还应该配合公司的 MySQL DBA 和开发人员,在数据库参数优化、SQL 语句优化、数据切分上多做功夫,避免数据库成为我们网站的瓶颈。

希望大家能够通过以上网站的五层分解,结合自己网站的情况,了解每一层在网站设计中的作用和重要性,找出网站瓶颈加以优化,将自己的网站打造成高可用高可扩展性的网站。

1 条回应
  1. 沈唁志 2018-4-2 · 18:54

    大佬 问一下 文中说的Nginx处理1w并发,这个服务器的配置是怎么样的。