1.首先kafka会将接收到的消息分区（partition），每个主题（topic）的消息有不同的分区，这样一方面消息的存储就不会受到单一服务器存储空间大小的限制，另一方面消息的处理也可以在多个服务器上并行。 2.其次为了保证高可用，每个分区都会有一定数量的副本(replica)。这样如果有部分服务器不可用，副本所在的服务器就会接替上来，保证应用的

欢迎访问我的GitHubhttps://github.com/zq2599/blog\_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览本文是《Flink的sink实战》系列的第二篇，前文《Flink的sink实战之一：初探》对sink有了基本的了解，本

昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest:automaticallyresettheoffsettotheearliestoffset，自动将偏移量置为最早的。难道不是topic中各分区的开始？结果

!(https://oscimg.oschina.net/oscnet/b756efdf430b40089a7ced19b95ae6a6.png)纵观Kafka的发展脉络，它的确是从消息引擎起家的，但正如文章标题所问，ApacheKafka真的只是消息引擎吗？通常，在回答这个问题之前很多文章可能就要这样展开了：那我们先来讨论下

MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。第一部分：RabbitMQ,ActiveMq,ZeroMq比较1、 TPS比较一ZeroMq最好，RabbitMq次之，Ac

1.源端 \停源端所有进程stop\stopmgr2.目标端进程infoREP\_K4showch看RBA是否变化，查询checkpoint表sendREP\_K4status查看有没有大事物\确认上述信息OK，则停目标端所有进程stop\stopmgr3.新目

“2020年将成体系化技术输出2019年全年“大数据技术与架构”累计发送文章304篇。原创127篇，原创率41.8%。技术方向包含了：实时计算技术方向：Flink、Spark、Kafka等离线计算技术方向：Hive、Hadoop、HDFS、Hbase等语言基础技术方向：

开发工具1.EclipseIDE：采用Maven项目管理，模块化。2.代码生成：通过界面方式简单配置，自动生成相应代码，目前包括三种生成方式（增删改查）：单表、一对多、树结构。生成后的代码如果不需要注意美观程度，生成后即可用。技术选型（只列了一部分技术）1、后端服务框架：Dubbo、zookeeper、Rest服务缓存：redis

自LinkedIn2011年创建了ApacheKafka后，这款消息系统一度成为大规模消息系统的唯一选择。为什么呢？因为这些消息系统每天需要传递数百万条消息，消息规模确实很庞大（2018年Twitter推文平均每天500万条，用户数平均每天为1亿）。那时，我们没有MOM系统来处理基于大量订阅的流数据能力。所以，很多大牌公司，像

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/e28ac98f416449cfff032fe21bb8b51d26e.jpg)!(https://oscimg.oschina.net/oscnet/3c4cb27ddd8fb005376a