灾难恢复中的异步复制和同步复制

天翼云开发者社区
• 阅读 277

本文分享自天翼云开发者社区《灾难恢复中的异步复制和同步复制》,作者:h****n

1.异步复制

异步复制用于在远程位置创建数据备份。它涉及从主存储系统复制数据到辅助存储系统,并在两个系统之间设置延迟。这种延迟可以从几秒钟到几分钟不等,具体取决于实现和网络条件。

数据传输方面,异步复制涉及从主存储系统定期传输数据到辅助存储系统。数据以块或分块的形式传输,而不是连续传输,这减少了网络和存储资源的负载。这种以块和分块的传输也引入了主存储系统和辅助存储系统之间的数据同步的时间延迟,这种延迟称为复制延迟。在发生故障时,故障转移是从主系统切换到辅助系统的过程。由于异步复制的延迟,故障转移可能涉及一些数据丢失,并且可能需要额外的步骤以确保两个系统之间的一致性。

以下是以ceph的异步复制 RBD mirroring(CEPH RADOS Block Device mirroring)特性的框架图。CEPH在Jewel版本发布了支持两个或两个以上集群之间异步复制的特性。RBD mirroring通过排他锁以及journaling特性来记录对镜像(image)所有的改动,来实现集群间的crash-consistent的image复制。另外,rbd-mirror守护进程负责将镜像的修改部分而非主镜像(primary image)从一个ceph存储集群同步到另外一个集群,rbd-mirror可以运行在单个ceph集群上做单向(one-way)复制 如图1,也可以运行在两个ceph集群双向(two-way)复制如图2。

灾难恢复中的异步复制和同步复制 图1:ceph单向RBD-mirror

灾难恢复中的异步复制和同步复制 图2:ceph双向RBD-mirror

以上是基于journaling的journaling-basedmirroring,异步复制还可以与快照相结合(snapshot-based mirroring)实现。例如,可以对主系统进行周期性快照,并将其连同复制的数据发送到辅助系统。这些快照提供了数据的时间点视图,可用于从数据损坏或其他问题中进行恢复。

异步复制的特性意味着对主存储系统进行的更改可能不会立即反映在辅助系统中。如果在更改被复制到辅助系统之前主系统失败,这就可能导致数据丢失。然而,异步复制可以比同步复制更具成本效益和效率,因为同步复制需要在两个系统之间建立连续连接。

异步复制可以在块、文件或对象级别实现,具体取决于存储系统和组织的特定要求。某些解决方案可能使用增量差分或压缩等技术来减少传输的数据量,而其他解决方案可能使用多个复制层进行额外的冗余和保护。

总的来说,异步复制是创建数据备份和保护数据免受丢失的灵活和经济有效的方法。但是,重要的是要仔细考虑实施和配置,以确保它满足组织的需求并提供适当的数据保护水平。

2.同步复制

同步复制实时地将任何更改应用于主存储系统并立即将其复制到辅助系统,确保两个系统始终具有最新的数据副本。涉及将数据实时传输从主存储系统到辅助存储系统,通常以小块或块的形式进行,以最小化网络和存储资源使用。复制延迟通常非常低,通常以毫秒为单位,因为辅助系统需要始终具有数据的最新副本。

灾难恢复中的异步复制和同步复制 图3:同步复制示意图

同步复制的主要优点之一是其提供高水平的数据一致性,并在发生故障时最小化数据丢失。由于辅助系统始终具有数据的最新副本,因此通常不会发生数据不一致或数据丢失,这使其成为需要最小停机时间和最大数据可用性的关键应用程序的理想选择。

但是,同步复制可能比异步复制更昂贵且资源密集,因为异步复制会延迟数据传输。同步复制还需要仔细的配置和实施,以确保满足组织的需求并提供适当的数据保护水平。

同步复制可以在块、文件或对象级别实现,具体取决于存储系统和组织的特定要求。一些解决方案可能使用缓存或其他技术来优化数据传输,而其他解决方案可能使用多个复制层进行额外的冗余和保护。

此外,对于灾难恢复中常见的同城多活,异地双活,两地三中心均是依据基础技术,网络,冗余硬件以及业务需求等构建出灾难恢复解决方案。

点赞
收藏
评论区
推荐文章
最新金九银十JAVA面试合集,进阶加薪全靠它!
异步复制MySQL的复制默认是异步的,主从复制至少需要两个MYSQL服务,这些MySQL服务可以分布在不同的服务器上,也可以在同一台服务器上。MySQL主从异步复制是最常见的复制场景。数据的完整性依赖于主库BINLOG的不丢失,只要主库的BINLOG不丢失,那么就算主库宕机了,我们还可以通过BINLOG把丢失的部分数据通过手工同步到从库上去。注意:主库宕机的
Wesley13 Wesley13
2年前
Mongo服务器集群配置——主从复制
MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性,并可以保证数据的安全性;复制还允许您从硬件故障和服务中断中恢复数据。MongoDB复制原理mongodb的复制至少需要两个节点。其中一个是主节点,负责处理客户端请求,其余的都是从节点,负责复制主节点上的数据。mon
Wesley13 Wesley13
2年前
JAVA通过Gearman实现MySQL到Redis的数据同步(异步复制)
MySQL到Redis数据复制方案无论MySQL还是Redis,自身都带有数据同步的机制,像比较常用的 MySQL的Master/Slave模式 ,就是由Slave端分析Master的binlog来实现的,这样的数据复制其实还是一个异步过程,只不过当服务器都在同一内网时,异步的延迟几乎可以忽略。那么理论上我们也可以
Wesley13 Wesley13
2年前
MySQL 8 备份与恢复
备份应用的场景包括:系统崩溃、硬件故障、用户错误、升级MySQLInstallation、传输MySQLInstallation到另一台机器、设置复制等。SlaveServer备份在备份Slave数据库时,应该备份Masterinfo和Relayloginforepository,如果在备份时,Slave正在复制LOADDA
Wesley13 Wesley13
2年前
mysql主从同步问题梳理
前言:MySQL主从复制故障机延迟原因有很多,之前详细介绍了Mysql主从复制的原理和部署过程,在mysql同步过程中会出现很多问题,导致数据同步异常。以下梳理了几种主从同步中可能存在的问题:1)slave运行过慢不能与master同步,也就是MySQL数据库主从同步延迟MySQL数据库slave服务器延迟的现象是非常普遍的,MySQ
Stella981 Stella981
2年前
Linux Centos下MySQL主从Replication同步配置(一主一从)
MySQL主从复制概念MySQL主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据的更新可以在远程连接上进行,从节点可以复制主数据库中的所有数据库或者特定的数据库,或者特定的表。 !(https://img2018.cnblogs.c
Wesley13 Wesley13
2年前
mysql主从复制原理及实现
一.主从复制原理利用MySQL提供的Replication,其实就是Slave从Master获取Binarylog文件,然后再本地镜像的执行日志中记录的操作。由于主从复制的过程是异步的,因此Slave和Master之间的数据有可能存在延迟的现象,此时只能保证数据最终的一致性。在master与slave之间实现整个复制过程主要由三个线程来完成
Stella981 Stella981
2年前
Chapter 16 Replication(MySQL 5.7)
Chapter16Replication复制允许将来自一个MySQL数据库服务器(主服务器)的数据复制到一个或多个MySQL数据库服务器(从服务器)。默认情况下复制是异步的;从服务器不需要永久连接就可以从主服务器接收更新。根据配置,您可以复制所有数据库、选定的数据库,甚至是选定的表。复制的优点包括:
Wesley13 Wesley13
2年前
mysql数据库备份之主从同步配置
主从同步意义?主从同步使得数据可以从一个数据库服务器复制到其他服务器上,在复制数据时,一个服务器充当主服务器(master),其余的服务器充当从服务器(slave)。因为复制是异步进行的,所以从服务器不需要一直连接着主服务器,从服务器甚至可以通过拨号断断续续地连接主服务器。通过配置文件,可以指定复制所有的数据库,某个数据库,甚至是某个数据
云容灾关键技术点简介
备份是为防止系统出现操作失误或系统故障导致数据丢失,而将全系统或部分数据集合从应用主机的硬盘或阵列复制到其他存储介质的过程。备份是数据高可用的最后一道防线。容灾是当灾难发生时,在保证生产系统的数据尽量少丢失的情况下,保持生产系统的业务不间断地运行。容灾必须通过系统冗余、灾难检测和系统迁移等技术来实现。
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
649
粉丝
14
获赞
40