本文是字节跳动的龚云飞发表在2019年05月12日北京ApacheFlinkxApacheKafka会议上的演讲稿。我们来看看字节跳动是如何使用Kafka的。!(https://oscimg.oschina.net/oscnet/afcc105f34ca45c9908a23ff1734d313.png)!(https:

SpringCloudStream是消息中间件组件，它集成了kafka和rabbitmq。本篇文章以RabbitMQ为消息中间件系统为基础，介绍SpringCloudStream的使用。如果你没有用过消息中间件，可以到RabbitMQ的官网看一下，或者参考这个http://rabbitmq.mrping.com/。理

_CentOS7搭建Kafka（三）工具篇__做为一名懒人，自然不喜欢敲那些命令，一个是容易出错，另外一个是懒得记，能有个工具就最好了，一查还挺多，我们用个最主流的KafkaManager_KafkaManagerkafkamanager是yahoo为了维护kaf

写在前面许久不见，各位读者，上次更文已经是去年了，快两个月没发文章了，谢谢大家没有取关。没有加我微信的朋友，可能不知道我于去年12月当上了爸爸，算是我人生的一个重大变化。工作还未满两年，在25岁成为了父亲，还是挺有压力的，会有紧张感，所以也停更了一段时间，好好整理自己。现在我回来啦！今年还是会好好写文章，分享有价值的文章给读者。希望能提

一、简介 ApacheKafka是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【MessageQueue】）。流处理平台有以下3个特性：可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录，并且有较好的容错性。可

缘起有一个埋点收集系统，架构是NginxFlume。web，小程序，App等客户端将数据报送至Nginx，Nginx将请求写入本地文件，然后Flume读取日志文件的数据，将日志写入Kafka。这个架构本来没什么问题，但是部署在K8s容器就有问题了，当前一

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统

作者：京东科技刘恩浩一、背景基于K8s集群的私有化交付方案中，日志收集采用了logstashkafkaes方案，其中ilogtail负责日志收集，logstash负责对数据转换，kafka负责对日志传递中的消峰进而减少es的写入压力，es用来保存日志