maven依赖<dependency<groupIdorg.apache.kafka</groupId<artifactIdkafkaclients</artifactId<version0.10.1.0</version</dependenc

一、Kafka概述1.Kafka是一个分布式流媒体平台，它有三个关键功能：(1)发布和订阅记录流，类似于消息队列或企业消息传递系统；(2)以容错的持久方式存储记录流；(3)记录发送时处理流。2.Kafka通常应用的两大类应用(1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道；(2)构建转换或响应数据流的实施

1\.kafka介绍1.1. 主要功能根据官网的介绍，ApacheKafka®是_一个分布式流媒体平台_，它主要有3种功能：1：Itletsyoupublishandsubscribetostreamsofrecords.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队

\温馨提示：本文基于Kafka2.2.1版本。上文《源码分析Kafka消息发送流程》(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fprestigeding%2Farticle%2Fdetails%2F102994716)已经详细介绍

如果你要利用代码来跑kafka的应用，那你最好先把官网给出的example先在单机环境和分布式环境下跑通，然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前你需要具备以下前提：1.简单了解kafka功能，理解kafka的分布式原理2.能在分布式环境下成功运行—topictest。如果你

Kafka是一个分布式的流处理平台!(http://static.oschina.net/uploads/img/201610/26141320_MNcR.png)Kafka提供封装好的客户端以方便开发者连接服务器，目前常用的客户端有两种：<dependency<groupId

本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Brokerfailover、Controllerfailover、Topic创建/删除、Broker启动、Follower从Leaderfetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。

SparkStreaming结合Kafka两种不同的数据接收方式比较博客分类：sparkDirectKafkaInputDStream只在driver端接收数据，所以继承了InputDStream，是没有receivers的在结合SparkStreaming及Kafka的实时应用中，我们通常使用以下两个API来获

_马蜂窝技术原创文章，更多干货请订阅公众号：mfwtech_Kafka是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。Kafka在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕Kafka在马蜂窝大数据平台的应用实践，介绍相

1、概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储