Wesley13 Wesley13
3年前
java获取kafka consumer lag
maven依赖<dependency<groupIdorg.apache.kafka</groupId<artifactIdkafkaclients</artifactId<version0.10.1.0</version</dependenc
Stella981 Stella981
3年前
Kafka 入门和 Spring Boot 集成
Kafka入门和SpringBoot集成概述kafka是一个高性能的消息队列,也是一个分布式流处理平台(这里的流指的是数据流)。由java和Scala语言编写,最早由LinkedIn开发,并2011年开源,现在由Apache开发维护。应用场景下面列举了
Stella981 Stella981
3年前
Kafka概述及安装部署
一、Kafka概述1.Kafka是一个分布式流媒体平台,它有三个关键功能:(1)发布和订阅记录流,类似于消息队列或企业消息传递系统;(2)以容错的持久方式存储记录流;(3)记录发送时处理流。2.Kafka通常应用的两大类应用(1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道;(2)构建转换或响应数据流的实施
Stella981 Stella981
3年前
Kafka基础知识
1\.kafka介绍1.1. 主要功能根据官网的介绍,ApacheKafka®是_一个分布式流媒体平台_,它主要有3种功能:1:Itletsyoupublishandsubscribetostreamsofrecords.发布和订阅消息流,这个功能类似于消息队列,这也是kafka归类为消息队
Stella981 Stella981
3年前
Kafka 消息存储与索引设计
消息中间件的性能好坏,它的消息存储的机制是衡量该性能的最重要指标之一,而Kafka具有高性能、高吞吐、低延时的特点,动不动可以上到几十上百万TPS,离不开它优秀的消息存储设计。下面我按照自己的理解为大家讲解Kafka消息存储设计的那些事。在Kafka的设计思想中,消息的存储文件被称作日志,我们Java后端绝大部分人谈到日志,一般会联想到
Stella981 Stella981
3年前
Kafka深入浅出(二)
Kafka是一个分布式的流处理平台!(http://static.oschina.net/uploads/img/201610/26141320_MNcR.png)Kafka提供封装好的客户端以方便开发者连接服务器,目前常用的客户端有两种:<dependency<groupId
Stella981 Stella981
3年前
Kafka设计解析(三):Kafka High Availability (下)
本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Brokerfailover、Controllerfailover、Topic创建/删除、Broker启动、Follower从Leaderfetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具,如重新分配Partition等。
Stella981 Stella981
3年前
Kafka 集群在马蜂窝大数据平台的优化与应用扩展
_马蜂窝技术原创文章,更多干货请订阅公众号:mfwtech_Kafka是当下热门的消息队列中间件,它可以实时地处理海量数据,具备高吞吐、低延时等特性及可靠的消息异步传递机制,可以很好地解决不同系统间数据的交流和传递问题。Kafka在马蜂窝也有非常广泛的应用,为很多核心的业务提供支撑。本文将围绕Kafka在马蜂窝大数据平台的应用实践,介绍相
Kafka核心逻辑介绍 | 京东云技术团队
1、概念Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica)分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储
京东云开发者 京东云开发者
1个月前
Kafka核心逻辑介绍
作者:京东零售张继1,概念Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaf