Kafka在字节跳动的实践和灾备方案
本文是字节跳动的龚云飞发表在2019年05月12日北京ApacheFlinkxApacheKafka会议上的演讲稿。我们来看看字节跳动是如何使用Kafka的。!(https://oscimg.oschina.net/oscnet/afcc105f34ca45c9908a23ff1734d313.png)!(https:
Spring Cloud 系列之 Spring Cloud Stream
SpringCloudStream是消息中间件组件，它集成了kafka和rabbitmq。本篇文章以RabbitMQ为消息中间件系统为基础，介绍SpringCloudStream的使用。如果你没有用过消息中间件，可以到RabbitMQ的官网看一下，或者参考这个http://rabbitmq.mrping.com/。理
CentOS7 搭建Kafka（三）工具篇
_CentOS7搭建Kafka（三）工具篇__做为一名懒人，自然不喜欢敲那些命令，一个是容易出错，另外一个是懒得记，能有个工具就最好了，一查还挺多，我们用个最主流的KafkaManager_KafkaManagerkafkamanager是yahoo为了维护kaf
2020年要做的几件大事
“2020年将成体系化技术输出2019年全年“大数据技术与架构”累计发送文章304篇。原创127篇，原创率41.8%。技术方向包含了：实时计算技术方向：Flink、Spark、Kafka等离线计算技术方向：Hive、Hadoop、HDFS、Hbase等语言基础技术方向：
Flink Parallelism、Flink Slot的关系
本文分享自天翼云开发者社区《》，作者：王帅1、Parallelism（并行度）的概念parallelism在Flink中表示每个算子的并行度。举两个例子（1）比如kafka某个topic数据量太大，设置了10个分区，但source端的算子并行度却为1，只有
Lua将Nginx请求数据写入Kafka——埋点日志解决方案
缘起有一个埋点收集系统，架构是NginxFlume。web，小程序，App等客户端将数据报送至Nginx，Nginx将请求写入本地文件，然后Flume读取日志文件的数据，将日志写入Kafka。这个架构本来没什么问题，但是部署在K8s容器就有问题了，当前一
Kafka基本原理、生产问题总结及性能优化实践 | 京东云技术团队
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统
纳尼?自建K8s集群日志收集还能通过JMQ保存到JES
作者：京东科技刘恩浩一、背景基于K8s集群的私有化交付方案中，日志收集采用了logstashkafkaes方案，其中ilogtail负责日志收集，logstash负责对数据转换，kafka负责对日志传递中的消峰进而减少es的写入压力，es用来保存日志