springcloudbus将分布式的节点用轻量的消息代理连接起来。可用于广播配置文件的更改或服务之间的通讯，也可以用于监控。springcloudbus默认只支持rabbitmq和kafka两个binder,也可以进行自己扩展。1\.使用rabbitmq进行消息通讯　　1.1下载安装rabbitmq　　　　1.1.1rab

近日ApacheHudi社区合并了Flink引擎的基础实现（HUDI1327），这意味着Hudi开始支持Flink引擎。有很多小伙伴在交流群里咨询HudionFlink的使用姿势，三言两语不好描述，不如实操演示一把，于是有了这篇文章。当前Flink版本的Hudi还只支持读取Kafka数据，Sink到COW（COPY\_ON\

Flink1.10.0于近期刚发布，释放了许多令人激动的新特性。尤其是FlinkSQL模块，发展速度非常快，因此本文特意从实践的角度出发，带领大家一起探索使用FlinkSQL如何快速构建流式应用。本文将基于Kafka,MySQL,Elasticsearch,Kibana，使用FlinkSQL构建一个电商用户行为的实时分析应用

在日志收集服务器上使用Flume（1.6）的KafkaSink将日志数据发送至Kafka，在FlumeAgent启动之后，发现每个Agent的CPU使用率都非常高，而我们需要在每台机器上启动多个FlumeAgent来收集不同类型的日志，如果每个Agent都这样，那肯定会把机器的CPU吃满了，刚开始使用jstack定位到是org.apache.flume

MQ消息中间件，面试能问些什么？为什么使用消息队列？消息队列的优点和缺点？kafka、activemq、rabbitmq、rocketmq都有什么优缺点？面试官角度分析：（1）你知不知道你们系统里为什么要用消息队列这个东西？（2）既然用了消息队列这个东西，你知不知道用了有什么好处？（3

kafka消费者在消费的时候对于位移提交的具体时机的把握也很有讲究，有可能会造成重复消费和消息丢失的现象。!(https://oscimg.oschina.net/oscnet/3566bbd82538478396a25dd6e023974e.png"image.png")参考上图，当前一次poll()操作所拉取的消

引言前段时间写的《SpringLog4jActiveMQ实现远程记录日志——实战分析(http://my.oschina.net/itblog/blog/533730)》得到了许多同学的认可，在认可的同时，也有同学提出可以使用Kafka来集中管理日志，于是今天就来学习一下。特别说明，由于网络上关于KafkaLog4j的完整例子并不多

升级原理。就是将fabric的zk,kafka,orderer,peer(我只用的这4个)升级到最新版本；且这几个容器的关键生产数据使用volume簇放置在外面。可以参考《区块链原理、设计与应用(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.gitbook.com%2Fbook

在《图解Kafka中的基本概念(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU4Mjk0MjkxNA%3D%3D%26mid%3D2247487594%26idx%3D2%26sn%3D574e205

消费者位移的提交方式以及提交时机需要根据不同的业务场景进行选择，可以看之前的博客kafka消费者相关。这里只做应用相关，更多的使用场景，该怎么用、何时用要看前面的博客了解原理。参考博客：https://blog.csdn.net/yy756127197/article/details/103895810(https://www.oschina.ne