Kafka consumer poll(long)与poll(Duration)的区别
最近在StackOverflow(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fstackoverflow.com%2Fquestions%2F55858352%2Fkafkaconsumerassignmentreturnsempty)碰到的一个问题，即在consumer.po
Apache Kafka、Apache Pulsar和RabbitMQ性能测试对比
ApacheKafka(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fkafka.apache.org%2F)、ApachePulsar(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fpulsar.apache.
Spring Cloud Edgware之后版本 Zipkin+Kafka整合
zipkin服务器端1、依赖<!zipkinserver<dependency<groupIdio.zipkin.java</groupId<artifactIdzipkinautoconfigureui</artifactId</dependency
Spark Streaming 交互 Kafka的两种方式
一、SparkStreaming连Kafka（重点）方式一：Receiver方式连：走磁盘使用HighLevelAPI（高阶API）实现Offset自动管理，灵活性差，处理数据时，如果某一时刻数据量过大就会磁盘溢写，通过WALS（WriteAheadLogs）进行磁盘写入,0.10版本之后被舍弃,相当于一个人拿着一个水杯去接水，水龙头的
Flume sink Kafka Spout Storm Bolt Hbase or Redis (Flume)
Flume可以应用于日志采集.在本次的介绍中,主要用于采集应用系统的日志,将日志输出到kafka,再经过storm进行实施处理.我们会一如既往的光顾一下flume的官网,地址如下:flume官网(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fflume.apache.org%2F
Kafka生产者各种启动参数说明
首先是启动一个生产者finalStringkafkazk"localhost:9092";Stringtopic"testAPI";PropertiespropertiesnewProperties(){{put(ProducerConfig.
Kafka消费者 之 指定位移消费
!(https://oscimg.oschina.net/oscnet/efac2f4e1ab5a626cba566851c0719af782.gif)每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。放弃不难，但坚持很酷~由于消费者模块的知识涉及太多，所以决定先按模块来整理知识，最后再进行知识模块汇总。今天学习一下消费者如何指定位
Apache Kafka：大数据的实时处理时代
作者｜王国璋编辑｜小智在过去几年，对于ApacheKafka的使用范畴已经远不仅是分布式的消息系统：我们可以将每一次用户点击，每一个数据库更改，每一条日志的生成，都转化成实时的结构化数据流，更早的存储和分析它们，并从中获得价值。同时，越来越多的企业应用也开始从批处理数据平台向实时的流数据数据平台转移。本演讲将介绍最近ApacheKafka
Kafka重要知识点之消费组概念
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/3d92f2e3a54545e188c4c8de75fa3c4f.jpg)!(https://oscimg.oschina.net/oscnet/cc8e3842a53b4011
Kafka相关内容总结（概念和原理）
说明主要内容是在网上的一些文章中整理出来；加粗的字体是比较重要的内容，部分是自己的经验和理解；整理的目的主要是为了方便查阅；为什么需要消息系统解耦：在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实