亚瑟 亚瑟
3年前
RabbitMQ、Kafka横向对比
基于某些原因,许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择RabbitMQ还是Kafka没什么差别,但是这两种技术在底层实现方面是有许多差异的。\TOC\一、异步消息模式异步消息可以作为解耦消息的生产和处理的一种解决方案(DMP系统上使用较少,解耦是通过分布式服务构成的,这两种方式各有利弊,后面有机会再说)。
Stella981 Stella981
3年前
Kafka broker配置介绍
这部分内容对了解系统和提高软件性能都有很大的帮助,kafka官网上也给出了比较详细的配置详单,但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的,配置都有英文注释,所以每一部分是干什么的就不翻译了,都能看懂:/LicensedtotheApacheSoftwareFoundation(ASF)u
Stella981 Stella981
3年前
Kafka 中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?
最新一位朋友在知乎上私信我问了一些他在面试中遇到Kafka的问题,由于自己没有及时回复,这位朋友后来通过联系方式加了微信私聊了很久。其中分享一个问题就是Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?对于这个问题,印象特别深刻!最近才画得图~!(https://oscimg.
Stella981 Stella981
3年前
Kafka producer使用注意
最近在测试kafka性能的时候特别对kafka的producer端进行了一些扩展,本想着针对多个业务开发多个producer进行并行的生产数据,并通过统一的线程池进行管理,结果在用jconsole进行观察的时候,发现线程数一路飙升。本以为一个简单的发送端程序却花了不少精力。造成线程上涨的主要原因是有两个线程对象不断的被创建,并且暂时无法销毁。一个叫sen
Stella981 Stella981
3年前
Kafka源码解析(二)
上一篇文章讲了LogSegment和Log的初始化,这篇来讲讲Log的主要操作有哪些。一般来说Log的常见操作分为4大部分。1.高水位管理操作2.日志段管理3.关键位移值管理4.读写操作其中关键位移值管理主要包含LogStartOffset和LEO等。高水位HighWatermark
Stella981 Stella981
3年前
Logstash 配置多个输出源的问题
!(https://oscimg.oschina.net/oscnet/b0b8abb9dc8d36e5071f5f9d9d6a45ae17b.jpg)一个配置文件里面同时配置了es和kafka作为输出源,出现es崩溃后,kafka接收不到消息的问题。目前排查以及搜索资料后,发现虽然logstash配置了多个输出源,但是使用的是一个管道。目前
Wesley13 Wesley13
3年前
Understanding When to use RabbitMQ or Apache Kafka Kafka RabbitMQ 性能对比
UnderstandingWhentouseRabbitMQorApacheKafkahttps://content.pivotal.io/rabbitmq/understandingwhentouserabbitmqorapachekafkaPerformanceKafkashinesher
Stella981 Stella981
3年前
Kafka web console安装
参考: http://www.cnblogs.com/yxwkf/p/5092589.html1. 安装包下载下载地址:https://github.com/claudemamo/kafkawebconsole/releases目前最新是2.0.0版本!(https://oscimg.oschina.net/os
Stella981 Stella981
3年前
Kafka学习笔记(3)
1\.CAP理论  1.1Cosistency(一致性)  通过某个节点的写操作结果对后面通过其他节点的读操作可见。  如果更新数据后,并发访问的情况下可立即感知该更新,称为强一致性  如果允许之后部分或全部感知不到该更新,称为弱一致性。  若在之后的一段时间(通常该时间
Stella981 Stella981
3年前
Kafka学习笔记(5)
1\.PullvsPush  Producer主动的通过push将消息发布到Broker上,Consumer通过Pull的的方式从Broker消息消息。  通过Push的方式由于是一有消息就推到Broker,所以极大的保证了消息实时性,但是在某些情况下,可能由于Consumer网络,或是其他原因倒是消费速度低,