Redis低成本高可用方案设计

Stella981
• 阅读 784

关于Redis高可用方案,看到较多的是keepalived、zookeeper方案。keepalived是主备模式,意味着总有一台浪费着。zookeeper工作量成本偏高。

本文主要介绍下使用官方sentinel做redis高可用方案的设计。

阅读目录:

  1. Redis Sentinel
  2. 故障转移消息接收的3种方式
  3. 整体流程图
  4. 总结

Redis Sentinel

Sentinel介绍

Sentinel是Redis官方为集群提供的高可用解决方案。在实际项目中可以使用sentinel去做redis自动故障转移,减少人工介入的工作量。另外sentinel也给客户端提供了监控消息的通知,这样客户端就可根据消息类型去判断服务器的状态,去做对应的适配操作。

下面是Sentinel主要功能列表:

  • Monitoring:Sentinel持续检查集群中的master、slave状态,判断是否存活。
  • Notification:在发现某个redis实例死的情况下,Sentinel能通过API通知系统管理员或其他程序脚本。
  • Automatic failover:如果一个master挂掉后,sentinel立马启动故障转移,把某个slave提升为master。其他的slave重新配置指向新master。
  • Configuration provider:对于客户端来说sentinel通知是有效可信赖的。客户端会连接sentinel去请求当前master的地址,一旦发生故障sentinel会提供新地址给客户端。

Sentinel配置

Sentinel本质上只是一个运行在特殊模式下的redis服务器,通过不同配置来区分提供服务。sentinel.conf配置:

// [监控名称] [ip] [port] [多少sentinel同意才发生故障转移]
sentinel monitor mymaster 127.0.0.1 6379 2
// [监控名称] [Master多少毫秒后不回应ping命令,就认为master是主观下线状态]
sentinel down-after-milliseconds mymaster 60000
// [故障转移超时时间]
sentinel failover-timeout mymaster 180000
//[在执行故障转移时,最多可以有多少个从服务器同时对新的主服务器进行同步]
sentinel parallel-syncs mymaster 1

sentinel需要使用redis2.8版本以上,启动如下:

redis-sentinel sentinel.conf

启动后Sentinel会:

  • 以10秒一次的频率,向被监视的master发送info命令,根据回复获取master当前信息。
  • 以1秒一次的频率,向所有redis服务器、包含sentinel在内发送PING命令,通过回复判断服务器是否在线。
  • 以2秒一次的频率,通过向所有被监视的master,slave服务器发送包含当前sentinel,master信息的消息。

另外建议sentinel至少起3个实例以上,并配置2个实例同意即可发生转移。5个实例,配置3个实例同意以此类推。

故障转移消息接收的3种方式

Redis服务器一旦发送故障后,sentinel通过raft算法投票选举新master。故障转移过程可以通过sentinel的API获取/订阅接收事件消息。

搜索Java知音公众号,回复“后端面试”,送你一份Java面试题宝典.pdf

脚本接收

  • 当故障转移期间,可以指定一个“通知”脚本用来告知系统管理员,当前集群的情况。

  • 脚本被允许执行的最大时间为60秒,如果超时,脚本将会被终止(KILL)

    sentinel notification-script mymaster /var/redis/notify.sh

  • 故障转移期之后,配置通知客户端的脚本.

    sentinel client-reconfig-script mymaster /var/redis/notifyReconfig.sh

客户端直接接收

Sentinel的故障转移消息通知使用的是redis发布订阅。就是说在故障转移期间所有产生的事件信息,都通过频道(channel)发布出去。比如我们加台slave服务器,sentinel监听到后会发布加slave的消息到"+slave"频道上,客户端只需要订阅"+slave"频道即可接收到对应消息。

其消息格式如下: [实例类型] [事件服务器名称] [服务器ip] [服务器端口] @[master名称] [ip] [端口]

<instance-type> <name> <ip> <port> @ <master-name> <master-ip> <master-port>

通知消息格式示例:

*          //订阅类型, *即订阅所有事件消息。
-sdown     //消息类型
slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6381

订阅消息示例:

using (RedisSentinel rs = new RedisSentinel(CurrentNode.Host, CurrentNode.Port))
            {
                var redisPubSub = new RedisPubSub(node.Host, node.Port);
                redisPubSub.OnMessage += OnMessage;
                redisPubSub.OnSuccess += (msg) =>{};
                redisPubSub.OnUnSubscribe += (obj) =>{};
                redisPubSub.OnError = (exception) =>{ };
                redisPubSub.PSubscribe("*");
            }

服务间接接收

这种方式在第二种基础上扩展了一层,即应用端不直接订阅sentinel。单独做服务去干这件事情,然后应用端提供API供这个服务回调通知。这样做的好处在于:

  • 减少应用端监听失败出错的可能性。
  • 应用端由主动方变成被动方,降低耦合。
  • 性能提高,轮询变回调。
  • 独立成服务可扩展性更高。

比如:

1:以后换掉sentinel,我们只需要动服务即可,应用端无需更改。

2:可以在服务内多增加一层守护线程去主动拉取redis状态,这样可确保即使sentinel不生效,也能及时察觉redis状态,并通知到应用端。当然这种情况很极端,因为sentinel配的也是多节点,同时挂的几率非常小。

示例:

应用端提供回调API,在这个API逻辑下去刷新内存中的Redis连接。

http://127.0.0.1/redis/notify.api

独立服务监控到状况后,调用API通知应用端:

 httprequest.post("http://127.0.0/redis/notify.api");

整体设计

推荐使用第三种,其整体流程图如下:

Redis低成本高可用方案设计

总结

各种sentinel通知消息类型见官方文档,项目中使用的redis客户端在github上

https://github.com/mushroomsir/HRedis

本文分享了楼主在项目中做Redis高可用的经验,希望对大家有所帮助。在人力物力满足的情况下还是推荐使用zookeeper方案的。只有三五杆枪的情况下也就退而求其次,利用最小成本满足需求并保留可扩展性。

相信没有最好的架构,只有更合适的架构。

欢迎关注公众号 【码农开花】一起学习成长 我会一直分享Java干货,也会分享免费的学习资料课程和面试宝典 回复:【计算机】【设计模式】【面试】有惊喜哦

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这