九鹤 九鹤
3年前
RabbitMq 的高级特性
消息可靠性当作为消息的投递着不希望,任何消息投递失败或者消息丢失rabbitmq提供了两种方式来复制投递失败,确保消息的可靠性confirm确认模式return退回模式消息从投递者到product到交换机(exchange)返回一个confirmCallback(不管投递是否成功)都会执行这个回调函数,只是返回的布尔值不一样)exchange到queue
Wesley13 Wesley13
3年前
MySQL 主从复制(实时热备)原理与配置
MySQL是现在普遍使用的数据库,但是如果宕机了必然会造成数据丢失。为了保证MySQL数据库的可靠性,就要会一些提高可靠性的技术。MySQL主从复制可以做到实时热备数据。本文介绍MySQL主从复制原理及其配置过程。术语:主从复制——masterslavereplication(MS模式)。用途备份读写分离高
Wesley13 Wesley13
3年前
UDT协议实现分析——UDT数据收发的可靠性保障
不管是数据的发送还是数据的接收,大体的流程我们基本上是都理了一下,还分析了数据收发过程中用的数据结构,接下来就看一些UDT中数据收发更精细的一些控制。UDT数据收发的可靠性保障来看一下UDT中数据收发的可靠性保障。接收包丢失列表CRcvLossList先来看一下CRcvLos
Wesley13 Wesley13
3年前
Mysql 数据可靠性机制
Mysql主要通过binlog跟redolog来保证数据的可靠性binlog的写入机制binlog的写入逻辑比较简单:事务执行过程中,先把日志写到binlogcache,事务提交的时候,再把binlogcache写到binlog文件中一个事务的binlog是不能被拆开的,因此不论这个事务多大,也要确保一
Stella981 Stella981
3年前
Kafka 生产者与可靠性保证ACK(2)
生产者消息发送流程消息发送的整体流程,生产端主要由两个线程协调运行。分别是main线程和sender线程(发送线程)。在Kafka(2.6.0版本)源码中,可以看到。源码地址:kafka\clients\src\main\java\org.apache.kafka.clients.producer.KafkaProdu
Easter79 Easter79
3年前
Storm消息处理可靠性保证
Storm可以保证每一个从spout发出的消息能被完全处理。本章描述storm是如何完成这个保证以及用户如何从storm的可靠性能力获益的。消息“完全处理”的含义一个tuple从spout发出后可能会触发成千上万的tuple基于它而创建。以workcount的topology为例考虑下:TopologyBuild
Stella981 Stella981
3年前
RabbitMQ 如何保证消息的可靠性
一条消费成功被消费经历了生产者MQ消费者,因此在这三个步骤中都有可能造成消息丢失。一消息生产者没有把消息成功发送到MQ1.1事务机制AMQP协议提供了事务机制,在投递消息时开启事务支持,如果消息投递失败,则回滚事务。自定义事务管理器@Configuration
Stella981 Stella981
3年前
RabbitMQ消息可靠性分析
Introduction有很多人问过我这么一类问题:\\RabbitMQ如何确保消息可靠?\\很多时候,笔者的回答都是:说来话长的事情何来长话短说。的确,要确保消息可靠不只是单单几句就能够叙述明白的,包括Kafka也是如此。可靠并不是一个绝对的概念,曾经有人也留言说过类似全部磁盘损毁也会导致消息丢失,笔者戏答:还有机房被炸了也会导
个推技术 | Hadoop3.0时代,怎么能不懂EC纠删码技术
根据云存储服务商Backblaze发布的2021年硬盘“质量报告”,现有存储硬件设备的可靠性无法完全保证,我们需要在软件层面通过一些机制来实现可靠存储。一个分布式软件的常用设计原则就是面向失效的设计。作为当前广泛流行的分布式文件系统,HDFS需要解决的一个重要问题就是数据的可靠性问题。3.0以前版本的Hadoop在HDFS上只能采用多副本冗余的方式做数据备份