浅谈kafka
ApacheKafka是消息引擎系统,也是一个分布式流处理平台(DistributedStreamingPlatform)。优势在于迭代速度快,社区响应度高,使用它可以让你有更高的把控度;
Stella981 Stella981
3年前
Kafka源码阅读环境搭建
kafka主要是由scala写,其源码质量高,考虑到新版本提交人员的水平高低不同,对阅读源码不太好,因此选择早期的0.10.1版本。下面记录一下搭建kafka源码阅读环境,后面使用。搭建的基本环境:OS:Mac(10.12.x);JDK:1.8.0\_191;ScalaJDK:2.11.7;Gradle:4.8.1安装sca
Stella981 Stella981
3年前
KafkaProducer Sender 线程详解(含详细的执行流程图)
温馨提示:本文基于Kafka2.2.1版本。如果觉得源码阅读比较枯燥,本文的中间有Sender线程的工作流程图。上文《源码分析Kafka消息发送流程》(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMz
Stella981 Stella981
3年前
Kafka连接器深度解读之转换器和序列化
Kafka连接器(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fdocs.confluent.io%2Fcurrent%2Fconnect%2Findex.html)是ApacheKafka®的一部分,提供数据存储与Kafka之间的流式集成。对于数据工程师来说,只需要使用JSON格式
Stella981 Stella981
3年前
Spark Streaming和Kafka集成深入浅出
写在前面本文主要介绍SparkStreaming基本概念、kafka集成、Offset管理本文主要介绍SparkStreaming基本概念、kafka集成、Offset管理一、概述Spark Streaming顾名思义是spark的流式处理框架,是面向海量数据实现高吞吐量、高可用的分布式实时计算。关于spark的安装可以参考Spa
Stella981 Stella981
3年前
Knative 实战:基于 Kafka 实现消息推送
!1(https://yqfile.alicdn.com/01ee67ae04a648166d18ad84af8538056340b4f8.png)作者| 元毅 阿里云智能事业群高级开发工程师导读:当前在Knative中已经提供了对Kafka事件源的支持,那么如何基于Kafka实现消息推送呢?本文作者将以阿里云Kafk
Stella981 Stella981
3年前
RabbitMQ 和 Kafka 到底怎么选?
!(http://img.javastack.cn/1586333003551.png)前言开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?RabbitMQ架构RabbitMQ是一个分布式系
Wesley13 Wesley13
3年前
flume高并发优化——(15)中间件版本升级
在系统平稳运行一年的基础上,为提供更好的服务,现针对java,kafka,flume,zk,统一进行版本升级,请各位小伙伴跟着走起来,不要掉队啊!名称老版本号新版本号jdk1.7.0\_251.8.0kafka2.100.8.0.12.100.10.2.1flume1.6.01.7.0zookeeper
Stella981 Stella981
3年前
Kafka 原理详解
Kafka原理详解1kakfa基础概念说明Broker:消息服务器,就是我们部署的一个kafka服务Partition:消息的水平分区,一个Topic可以有多个分区,这样实现了消息的无限量存储Replica:消息的副本,即备份消息,存储在其他的broker上,当leader挂掉
京东云开发者 京东云开发者
2个月前
浅谈kafka
作者:京东科技徐拥导读:当今大数据时代,高吞吐、高可靠成为了分布式系统中重要的指标。而ApacheKafka作为一个高性能、分布式、可扩展的消息队列系统,被越来越多的企业和开发者所关注和使用。在本文中,我们将介绍Kafka的基本概念,包括Kafka的架构、