Stella981 Stella981
3年前
Kafka配置消息保存时间的方法
配置参考然后不废话,直接贴最终的关键配置:想实现消息队列中保存2小时的消息,那么配置应该像这样:log.roll.hours1log.retention.hours2log.segment.delete.delay.ms0Kafka日志存储机制分析
Stella981 Stella981
3年前
RabbitMQ消息队列(九)RPC开始应用吧
一简单应用 RPC——远程过程调用,通过网络调用运行在另一台计算机上的程序的函数\\方法,是构建分布式程序的一种方式。RabbitMQ是一个消息队列系统,可以在程序之间收发消息。利用RabbitMQ可以实现RPC。本文所有操作都是在ubuntu16.04.3上进行的,示例代码语言为Python2.7。yuminstallrab
Stella981 Stella981
3年前
RabbitMQ通过HTTP API获取队列消息内容
RabbitMQ通过HTTPAPI获取队列消息内容背景为配合公司数据中台建设,我们对公司内部使用的mysqlbinlog数据分发中间件(现已开源:https://gitee.com/kekingcn/kekingbinlogdistributor(https://gitee.co
Stella981 Stella981
3年前
Kafka 简介
Kafka简介_Kafka是分布式流平台。_一个流平台有3个主要特征:发布和订阅消息流,这一点与传统的消息队列相似。以容灾持久化方式的消息流存储。在消息流发生时处理消息流。Kafka通常使用在两大类应用中:在系统或应用之间,构建实时、可靠的消息流管道。构建实时流应用
Wesley13 Wesley13
3年前
OSSIM中分布式消息队列应用
OSSIM中分布式消息队列应用1\.消息队列处理企业日志数量正在以指数级形式高速增长,日志数据的具有海量、多样、异构等特点,基于传统的单一节点混合式安装的OSSIM平台(指OSSIM4.4及以下系统),无法满足海量日志分析要求。在OSSIM4.4以后的系统中增加了中间件RabbitMQ,可通过RabbitMQ将系统中各组件解除耦合,避免
Stella981 Stella981
3年前
RabbitMQ 简介
概述RabbitMQ是基于AMQP实现的一个开源消息组件,主要用于在分布式系统中存储转发消息,由因高性能、高可用以及高扩展而出名的Erlang语言写成。特点高可靠:RabbitMQ提供了多种多样的特性让你在可靠性和性能之间做出权衡,包括持久化、发送应答、发布确认以及高可用性。高可用队列:支持跨机器集群,支持队列安全镜像
Easter79 Easter79
3年前
SpringCloud 微服务 (十) 消息队列MQ 基础
壹之前学习了SpringCloudBus结合MQ,没有多学习MQ,本次学习相关内容,先了解异步,同步就不说了异步:客户端非阻塞进程,服务端响应可以是非即时的应用场景: ①通知类的服务发出去即可,无需回应; ②请求的异步响应就是客户端发送请求,服务端异步响应请求,客户端不会产生阻塞且是默认响应,但不会立刻送达;①②
Stella981 Stella981
3年前
RabbitMQ系类之一 安装,介绍,理论
        本书一切灵感均来自于<RabbitMQ实战 高效部署分布式消息队列这本书,书中知识会尽量复现验证,然我们一起学习,一起成长,当然有兴趣的同学还是拜读原著,收益颇丰.消息队列的成长史(是不是看不清,就算看清了也没啥用哈哈哈):!(https://static.oschina.net/uploads/space/2018/031
Stella981 Stella981
3年前
RabbitMQ消息持久化和消息确认机制
消息持久化消息在传输过程中,可能会出现各种异常失败甚至宕机情况,为了保证消息传输的可靠性,需要进行持久化,也就是在数据写在磁盘上。消息队列持久化包括三部分:1.Message持久化,也就是发送时消息持久化。(Message包含body,body为我们需要发送的消息具体内容,一般以json字符串发送,消费端
专为小白打造—Kafka一篇文章从入门到入土 | 京东云技术团队
一、什么是KafkaMQ消息队列作为最常用的中间件之一,其主要特性有:解耦、异步、限流/削峰。Kafka和传统的消息系统(也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时,Kafka还提供了大多数消息系