一种基于Nginx的热点数据调度处理方法

天翼云开发者社区
• 阅读 272

本文分享自天翼云开发者社区《一种基于Nginx的热点数据调度处理方法》,作者:康****彬

一、应用场景 基于Nginx的热点数据调度处理,热点节点数据负载均衡处理,减少热点节点压力,提高处理和访问效率;每一个节点的nginx服务接收大量的访问,但是每个节点处理请求都有一个峰值,当请求数达到峰值时,后续请求的处理效率就会有一定的下降,为了保证请求能及时处理,热点节点会触发请求调度策略,转发请求到非热点节点进行处理,若无非热点节点,则触发分布式节点策略,备机节点会启动Nginx服务处理,并接收热点节点转发过来的请求,从而提升访问及处理效率。

二、解决的问题 解决大量http请求同一个Nginx节点繁忙的问题,做到快速响应。 解决Nginx集群每个节点超负荷接收请求的问题,自动触发分布式策略处理。 解决现有实现方案可能存在的单点失效、配置不灵活的问题。

三、部署流程图

一种基于Nginx的热点数据调度处理方法

1、客户端:用户通过客户端发起HTTP请求。 2、Nginx主机:负责接收客户端 的HTTP请求。 3、Nginx备机:等待被Agent唤 醒的空闲Nginx节点。 4、Agent代理主机:负责和Nginx节点服务进行交互,包括启动空闲Nginx备机、注销Nginx节点服务等。 5、Agent代理备机:作为Agent主机的备用机器,Agent主机宕机的时候,会自动启动备机作为主机,然后发出告警。 6、Redis缓存:存放策略配置以及主机IP访问量等信息。

四、主要流程图

一种基于Nginx的热点数据调度处理方法 主要流程如下: Nginx服务接收到客户端HTTP请求之后,先读取redis中该请求IP的总访问量,判断如果达到配置策略的峰值,则需要获取峰值策略判断,如果配置的是控制访问策略,则拒绝该IP的请求;如果配置的是非热点访问策略,则通知Agent转发到非热点Nginx节点;如果全部Nginx节点都达到峰值,则请求Agent发送到备用的Nginx节点上。

点赞
收藏
评论区
推荐文章
DevOpSec DevOpSec
3年前
nginx安全配置
安全是一个重要的问题,必须引起注意。1.nginx介绍nginx本身不能处理PHP(http://www.ttlsa.com/php/"php"),它只是个web服务器,当接收到请求后,如果是php请求,则发给php解释器处理,并把结果返回给客户端。nginx一般是把请求发fastcgi管理进程处理,fastcgi管理进程选择cgi子
Stella981 Stella981
3年前
Keepalived+LVS+nginx搭建nginx高可用集群
       nginx是一款非常优秀的反向代理工具,支持请求分发,负载均衡,以及缓存等等非常实用的功能。在请求处理上,nginx采用的是epoll模型,这是一种基于事件监听的模型,因而其具备非常高效的请求处理效率,单机并发能力能够达到上百万。nginx接收到的请求可以通过负载均衡策略分发到其下一级的应用服务器,这些服务器一般是以集群方式部署的,因而在性能不
Wesley13 Wesley13
3年前
Mongo服务器集群配置——主从复制
MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性,并可以保证数据的安全性;复制还允许您从硬件故障和服务中断中恢复数据。MongoDB复制原理mongodb的复制至少需要两个节点。其中一个是主节点,负责处理客户端请求,其余的都是从节点,负责复制主节点上的数据。mon
Stella981 Stella981
3年前
Linux架构之Nginx 常见问题
第54章Nginx常见问题一、Nginx多Sever优先级在开始处理一个http请求时,nginx会取出header头中的Host变量,与nginx.conf中每个server的server_name进行匹配,由此决定到底由哪一个server来处理这个请求。但如果nginx配置多个相同的
Stella981 Stella981
3年前
CentOS 7下 部署Redis
redis集群是一个无中心的分布式redis存储架构,可以在多个节点之间进行数据共享,解决了redis高可用、可扩展等问题,redis集群提供了以下两个好处:1)将数据自动切分(split)到多个节点2)当集群中的某一个节点故障时,redis还可以继续处理客户端的请求一个Redis集群包含16384个哈希槽(hashslot
Stella981 Stella981
3年前
Mongodb3.4 复制集及分片配置
复制技术:mongodb的复制至少需要两个节点。其中一个是主节点,负责处理客户端请求,其余的都是从节点,负责复制主节点上的数据。mongodb各个节点常见的搭配方式为:一主一从、一主多从。主节点记录在其上的所有操作oplog,从节点定期轮询主节点获取这些操作,然后对自己的数据副本执行这些操作,从而保证从节点的数据与主节点一致。!MongoD
Stella981 Stella981
3年前
Disconf 分布式配置管理平台(安装配置)
Disconf分布式配置管理平台(安装配置)依赖环境Nginx:处理静态资源请求、动态请求转发到TomcatTomcat:处理Nginx的请求Redis:用户session管理MySQL:应用管理、用户管理、角色管理、环境管理、配置持久化Zookeeper:管理Disconf配置信息
Easter79 Easter79
3年前
TiDB 4.0 为解决热点问题做了哪些改进?
作者:李坤热点问题概述一直以来,TiDB的数据访问热点问题,是用户比较关注的问题。为什么这个问题如此突出呢?这其实是“分布式”带来的结构效应。单机数据库由于只有一个节点,是不存在热点问题的(因为性能的上限就是单机的处理能力),而分布式数据库集群存在多个节点,在达到存储扩展、读写能力扩展的目的上,我们希望大量的读写压力能够平摊在每个节点
Stella981 Stella981
3年前
Nginx负载均衡
前面我们说了反向代理,例子中用的是,两个请求请求同一个ip地址和端口,然后Nginx来根据域名调用不同的tomcat来进行请求处理及响应。反向代理主要说的是:不同的请求请求同一个Nginx服务器,Nginx服务器来决定由那个真正的业务服务器(eg:tomcat)处理某个请求。下面说负载均衡负载均衡一般是指,针对同一个(域名的)请求发送很多次,同
NUMA架构介绍及优缺点分析
NUMA(NonUniformMemoryAccess,非统一内存访问)架构是一种针对多处理器系统的内存组织方式。在这种架构中,处理器被分配到不同的节点,每个节点拥有自己的本地内存。处理器可以访问本地内存和其他节点的内存,但访问本地内存的速度要快于访问其他节点的内存。
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
693
粉丝
15
获赞
40