kafka概念　　Topic：消息根据Topic进行归类，可以理解为一个队里。　　Producer：消息生产者，就是向kafkabroker发消息的客户端。　　Consumer：消息消费者，向kafkabroker取消息的客户端。　　broker：每个kafka实例(server)，一台kafka服务器就是一个broker，一个集群

 1.架构第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，SparkStreaming读取Kafka中的数据，进行实时分析本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接2.安装flume,kafkaflumei

安装前期准备：1，准备三个节点（根据自己需求决定）2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper）3，关闭防火墙chkconfig iptablesoff一、下载安装包Kafka官网下载安装包http://kafka.apache.org/downloads.html我们下载第二种（已

KafkaMonitor为Kafka的可视化管理与监控工具，为Kafka的稳定运维提供高效、可靠、稳定的保障，这里主要简单介绍KafkaMonitor的相关功能与页面的介绍；　　KafkaMonitorv0.1主要功能有：Kafka基本信息仪表盘、broker列表、topic列表、当前消费者列表、Topic添加删除、Topic数据

Kafka的版本间差异较大，下面是0.8.1的操作方法首先cd到kafaka的bin目录下，操作kafka的工具都在这里呢。如果发现找不到，或者名字不对，说明kafka版本不对。以topic是test为例子zookeeper后的ip改成你们自己的创建topic./kafkatopics.shtopictestcreate

最近有些朋友问到Kafka消费者消费相关的问题，如下：!(https://oscimg.oschina.net/oscnet/c188fd31a02dcc863a92a61066297a4b7ff.png)以上问题看出来这位朋友刚接触Kafka，我们都知道Kafka相对RocketMQ来说，消费端是非常“原生”的，不像Rock

Kafka自定义指定消息partition策略规则及DefaultPartitioner源码分析一.概述kafka默认使用DefaultPartitioner类作为默认的partition策略规则,具体默认设置是在ProducerConfi

最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。一、   Kafka介绍　　Kafka是由Java和Scala编写的是一个分布式、高吞吐量、分区的、多副本的、多订阅者

\Kafka框架基础官网：kafka.apache.org框架简介ApacheKafka是分布式发布订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。相关概念\

关于OpenRestydoujiang24/luarestykafka写入kafka故障转移模拟测试PS：文章中用到的ip和代码已脱敏1.环境请查看这篇文章2.配置kafka地址：kafkabrokerlisthost"193.168.1.2",port