通过kafka处理1.下载；重新进行ansibleplaybookbootstrap.yml两个pump和drainer在下载的resource/bin/下面。拷贝到deploy/bin/目录下。1.修改inventory.ini设置enable\_binlogTrue设置zk地址，不然会报错，一定需要zk注

总体参考：http://www.cnblogs.com/zhangs1986/p/6564839.html搭建之间同步下spark01、02、03的环境复制/opt/flume这个文件夹到spark02的/opt目录下，同理03scpr/opt/flume/spark02:/opt/scpr/opt/kafka/spar

　　1.C编程中使用librdkafka库去连接kafka集群分为生产端，消费端两个部分。本次是在https://github.com/edenhill/librdkafka(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fedenhill%2Flibrdk

在双十一过程中投入同样的硬件资源，Kafka搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考。温馨提示：TPS只是众多性能指标中的一个，我们在做技术选型方面要从多方面考虑，本文并不打算就消息中间件选型方面投入太多笔墨，重点想尝试剖析两

目前Kafka并没有提供直接的工具来帮助我们获取某个topic的当前总消息数，需要我们自行写程序来实现。下列代码可以实现这一功能，特此记录一下：/获取某个topic的当前消息数Java8only@paramtopic@

开发工具1.EclipseIDE：采用Maven项目管理，模块化。2.代码生成：通过界面方式简单配置，自动生成相应代码，目前包括三种生成方式（增删改查）：单表、一对多、树结构。生成后的代码如果不需要注意美观程度，生成后即可用。技术选型（只列了一部分技术）1、后端服务框架：Dubbo、zookeeper、Rest服务缓存：redis

  kafkaclient的版本:0.10   有个很重要的类Partitioner  _List1_publicinterfacePartitionerextendsConfigurable{/Computethepartitionforthegi

Redis作为消息队列升级为KafKa记录项目当中运营人员发送指定匹配用户(最高用户量几十万的级别)特定的消息,所以这块是确确实实需要使用专业级别的消息队列中间件的,但是可能由于当时开发的各种历史原因导致使用了Redis的队列结构来作为消息队里lpush,blpop等命令,项目开发进展到现在,用户量不断增大,包括不同的消息继承进来,包括举报反馈,小纸条

之前分享了一个英文版的变化，一直没时间去翻译，今天上了下kafka的官网发现0.8的代码能下载了，更值得关注的是0.8的相关文档也更新上来了，上面的一些变化还是很可喜的，说明这套系统还是有很大的利用价值的。最重要的一个变化体现在一张图上：!(http://static.oschina.net/uploads/space/2013/0709/210

KafkaRebanlace次数过高问题环境：KafkaServer2.6.xKafkaClientJava2.8.2缘起：最近发现KafkaRebalance次数着实有点多，一天达到了六十多次，感觉不太正常，于是查了下日志发现：logOffsetcomm