FastDFS tracker leader机制介绍

Stella981
• 阅读 949

FastDFS tracker server不保存文件索引,只保存集群拓扑信息。按照原始设计,FastDFS 多台tracker server是完全对等的,不存在主从关系。FastDFS v3.0开始支持文件合并存储,而trunk空间管理由一个group的一台storage server兼任,我们把这一角色称作trunk server。trunk server由tracker server来指定,如果多台tracker server都可以指定trunk server,那么很可能出现混乱和冲突。于是v3.0开始支持tracker leader 和 follower机制,集群相关的重大事项均由leader决定,比如trunk server由tracker leader来分配。

    tracker server对节点数没有要求,并且考虑到业界流行的leader选举算法Raft算法比较复杂,因此采用了基于规则的简单算法,尽可能选出最靠谱的leader,我们可以将其理解为论资排辈算法。tracker leader的选举包含预选和确认两个动作,其中”确认“是由预选出来的leader将其身份通知给各个tracker server。下面介绍一下预选规则和步骤:

    1. 如果一台tracker server已经是leader了,那么保留它的资格,否则到下一步;

    2. 选择运行时间最长的tracker server,如果均相同到下一步;

    3. 选择重启时间间隔最短的tracker server,如果均相同到下一步;

    4. 选择IP地址最大的tracker server,如果均相同到下一步;

    5. 选择端口最大的tracker server。

注:运行时间和重启时间间隔,按300秒取整加以钝化,以消除批量重启多个fdfs_trackerd实例的微小时间差异,使得钝化后的时间一致。

   tracker leader选举出来后,follower定期(目前是每秒)通过ping检测leader是否存活。如果连续三次ping leader失败,则重新选举leader。

   简单起见,以两台tracker server为例说明分布式系统著名的脑裂现象。如果两台tracker server之间因某种原因(比如路由器或交换机故障)导致不能相互通信,这时候就会发生两台tracker server均认为自己是leader的情况,产生脑裂。如果两台tracker server之间的网络通道不能恢复畅通,那么脑裂现象将会一直持续。 

    FastDFS对可能存在的tracker leader脑裂问题又是如何解决的呢?解决方法其实很简单,引入storage server作为观察者和协调者即可。storage server向所有tracker server定期报告其状态(包括磁盘可用空间、文件操作统计信息等等),tracker leader在返回的response中会告诉storage server其身份,然后storage server就知道tracker leader是否出现多个的异常了。如果出现了多个leader,storage server将通知这些tracker server重新选举leader。

    感谢大家的耐心阅读。最后再啰嗦一句,FastDFS奉行简单就好的原则,衷心希望FastDFS的简洁设计风格能够给聪明的你带来一点启迪和帮助。

本文分享自微信公众号 - FastDFS分享与交流(fastdfs100)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
FD
!(https://oscimg.oschina.net/oscnet/27b94bba9f88488dba7d397aa3cc4f00.gif)
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
3年前
FastDFS合并存储的一个深层次bug排查
FastDFSV3引入合并存储(trunkfile)特性后,有用户反馈上传文件提示trunk空间被占用的问题。我在测试环境中经过一通测试,在极其偶然的情况下也能重现这个问题。然后就开始排查这个问题。  FastDFS一个group(存储分组)内有一台storageserver被选举为trunkserver,用于管理和分配该组的trunk可用
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这