上亿用户量负载均衡架构解析
程序开发
2023-09-08 10:00:48
前言
整篇文章主要通过对软硬件负载均衡设备,服务器负载均衡的局限,DNS核心流程、客户端和 服务端负载均衡异同、DNS负载均衡优缺点分析;以及CDN构建的好处、CDN刷新机制分析、常用CDN平台分析;进行一个大得解析,如何搭建一个上亿用户量的负载均衡架构。
上亿用户量背后的负载均衡整体架构
负载均衡调度器,分担网络请求到后端集群,解决集群带来的问题。 CDN和反向代理, 基本原理都是缓存,也是解决我们地区太大,导致不分区访问非常慢 反向代理部署在网站中心机房,CDN则靠近用户的网络服务提供商负载均衡层
面对大流量时,单台服务器很难支撑大流量的请求。使用负债均衡层带来的好处,还有产生了集群,因此可动态扩展,应用服务器增加,线性扩展,伸缩。
F5也能用来架设防火墙集群 LVS能做成集群、主从、双主的形式 Nginx能做成集群、主从形式
进行层层拆分流量。
硬件负载均衡
F5的全称是F5-BIG-IP LTM,是最流行的硬件负载均衡设备,并发能力达到百万级。 F5产品系列: F5 BIG-IP ASM应用安全管理器产品 F5 BIG-IP Edge Gateway产品 F5 BIG-IP GTM广域流量管理器产品 F5 BIG-IP LTM本地流量管理器产品 F5 BIG-IP SAM 安全接入管理器产品 F5 BIG-IP Web应用加速器产品 F5 BIG-IP 链路控制器产品 F5 BIG-IP 企业管理器产品 F5 BIG-IP 广域网优化模块产品 F5的特性包括: 1. 多链路的负载均衡和冗余 2. 防火墙负载均衡 3. 服务器负载均衡 4. 高可用 5. 安全性 6. 易于管理 7. 还提供SSL加速、软件升级、IP地址过滤、带宽控制等辅助功能 F5 | 多云安全性和应用交付
对于硬件负载均衡价格是有点高的,而且并不对数据做处理,只是做一个压缩转发。
看起来就像是交换机路由器。
软硬件负载均衡的区别
硬件负载均衡比软件负载均衡支撑更多的高并发,相当大,硬件负载均衡里面都是从硬件级别去定制,而不是像软件负载均衡运行在我们的计算机上。
硬件负载均衡设备有:NetScaler、F5、Radware和Array等。硬件负载均衡优点有专业团队进行维护,单机抗压能力强悍;缺点花销太大,规模较小的网站来说还不需要使用,直接使用软件负载均衡就行。 软件负载均衡有:LVS/HAProxy、Nginx等,基于Linux的开源免费的负载均衡软件策略。通过软件级别来实现,费用非常低廉,很多大型的互联网公司都采用软件负载均衡来架设自己网站。软件负载均衡稳定性非常好,几乎很少宕机。 我们的电脑也具有路由功能,但是路由器却更善于处理网络路由的事情。硬件负载均衡比软件负载均衡强悍,是因为其内部有针对性的设计硬件设备,专门用来处理网络传输流量处理。服务器负载均衡无法实现10亿级并发
再强悍的硬件负载设备,单台服务器的处理能力是有限的。 当达到某一个瓶颈时如何处理?
负载均衡方案DNS
DNS,Domain Name System,域名系统是因特网上作为域名和IP地址相互映射的一个 分布式数据库 ,方便用户访问互联网。一个域名对应多个IP地址。 有这个dns,可以使并发量增加。
DNS核心流程分析
DNS解析过程,从浏览器出发: 用命令 nslookup www.qq.com 试试 从客户端到本地DNS服务器是属于递归查询,而DNS服务器之间就是的交互查询就是迭代查询。
配置的这个,找对应的域名的映射。
直到找到对应的ip地址,一般会有缓存起来。所以我们一般访问过后效率会很快也是这个原因。
DNS负载均衡优缺点分析
优点: 缺点:客户端负载均衡和服务端服务均衡异同
服务端负载均衡, 请求到达服务器后,再从服务列表中挑选服务器, 实现 DNS域名解析负载均衡 反向代理负载均衡 IP负载均衡 客户端负载均衡 ,请求未发起,先从客户端缓存的服务列表挑选服务, 实现 Spring cloud中的ribbon Redis中的分片集群客户端计算slot槽位 客户端负载均衡和服务器负载均衡的核心差异在服务列表本身,客户端负载均衡服务列表在通过客户端维护,服务器负载均衡服务列表由中间服务单独维护。
基于云平台CDN服务实现内容分发和分流
CDN,全称Content Delivery Network,即内容分发网络。 通过现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络"边缘",使用户可以就近取得所需的内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。 CDN包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件,而内容管理和全局的网络流量管理(Traffic海南用户请求不用跑到北京电信机房Management)是CDN的核心所在。 海南即可响应处理内容服务基于缓存服务器,也称作代理缓存(Surrogate),它位于网络的边缘,距用户仅有"一跳"(Single Hop)之遥。 CDN节点解决了跨运营商和跨地域访问的问题,访问延时大大降低大部分请求在CDN边缘节点完成,CDN起到了分流作用,减轻了源站的负载
CDN刷新机制
浏览器缓存策略有:Expires、Cache-control、Last-Modified、 Max-age、Etag CDN缓存策略 类似浏览器缓存,CDN边缘节点也存在着一套缓存机制。CDN边 缘节点缓存策略因服务商不同而不同,但一般都会遵循http标 准协议,通过http响应头中的Cache-control: max-age的字段 来设置CDN边缘节点数据缓存时间。 缺点 当网站更新时,如果CDN节点上数据没有及时更新,即便用户再 浏览器使用Ctrl+F5的方式使浏览器端的缓存失效,也会因为 CDN边缘节点没有同步最新数据而导致用户访问异常。 CDN边缘节点对开发者是透明的,相比于浏览器Ctrl+F5的强制刷新来使浏览器本地缓存失效,开发者可 以通过CDN服务商提供的“刷新缓存”接口来达到清理CDN边缘节点缓存的目的。
常用CDN平台
微软CDN 为了吸引更多开发人员和网站使用ASP.NET,微软为Microsoft AJAX和jQuery脚本提供了免费的CDN服务。提供了jQuery系列,jQ Validation,jQ Cycle,jQ DataTables及Ajax Control Toolkit,ASP.NET等资源。 新浪SAE CDN 新浪的SAE CDN的public resource加速服务,对常用js/css库在全国采用cdn加速,用户只在第一次访问时加载js库,以后就直接在本地缓存读了。提供的库同百度基本相当。
标签:
上一篇:
IDEA DEBUG
下一篇:
相关文章
-
无相关信息