Stella981 Stella981
3年前
Kafka 常用脚本与配置
脚本作用kafkaserverstart.shkafka启动kafkaserverstop.shkafka停止kafkatopics.sh查看创建删除topickafkaconsoleconsumer.sh消费者操作,例如监听topickafkaconsoleproducer.sh生产者操作,例如
Stella981 Stella981
3年前
CentOS 6.5 部署Kafka集群
在部署前需确保网络正常及已安装JDK和Zookeeper环境JDK安装教程(https://my.oschina.net/linch/blog/1817152)部署Zookeeper(https://my.oschina.net/linch/blog/1816836)zookeeper最好也把IP给绑定上去ClientPortAdd
Stella981 Stella981
3年前
Kafka入门(2):消费与位移
摘要在这篇文章中,我将从消息在Kafka中的物理存储方式讲起,介绍分区日志段日志的各个层次。然后我将接着上一篇文章的内容,把消费者的内容展开讲一讲,区分消费者与消费者组,以及这么设计有什么用。根据消费者的消费可能引发的问题,我将介绍Kafka中的位移主题,以及消费者要怎么提交位移到这个位移主题中。最后,我将聊一聊消费者Rebalan
Stella981 Stella981
3年前
Kafka学习(学习过程记录)
Apachekafka这,仅是我学习过程中记录的笔记。确定了一个待研究的主题,对这个主题进行全方面的剖析。笔记是用来方便我回顾与学习的,欢迎大家与我进行交流沟通,共同成长。不止是技术。Kafka介绍与面向MQ编程模式介绍springboot整合ApacheKafka!image20200131104759
Stella981 Stella981
3年前
Kafka 和 DistributedLog 技术对比
因为两者都是处理日志,数据模型也类似,所以这篇文章主要从技术角度讨论ApacheKafka与DistributedLog的不同点。我们会尽量做到客观,但由于我们不是ApacheKafka的专家,因此我们可能会对ApacheKafka存在误解。如果发现有错,也请大家直接指出。首先,让我们简单地介绍一下Kafka和Distribu
Stella981 Stella981
3年前
Redis、MPP、kafka 、MongDB简介
Redis:间值数据库,适合缓存用户Session会话与经常需要查的数据1.Redis集群,为什么在项目中使用集群 1.持久化,持久化是最简单的高可用方法(有时甚至不被归为高可用的手段),主要左右是数据备份,即将数据存储在硬盘,保证数据不会因进程退出而丢失;2、复制:主从复制是高可用Redis的基础,哨兵和集群都是在复制基础上实现高可用
Stella981 Stella981
3年前
Kafka高频面试题
点击上方蓝色字"码之初"关注,···选择"设为星标"开始Java基础、架构设计、源码阅读,关注进步,可能还会加薪哦!!(https://oscimg.oschina.net/oscnet/ac1ae1d206ff48fc81bc48bff1ab90d5.png)“你用过消息中间件吗?用过哪些?”这是在面试过程中面
Stella981 Stella981
3年前
Kafka中改进的二分查找算法
最近有学习些Kafak的源码,想给大家分享下Kafak中改进的二分查找算法。二分查找,是每个程序员都应掌握的基础算法,而Kafka是如何改进二分查找来应用于自己的场景中,这很值得我们了解学习。由于Kafak把二分查找应用于索引查找的场景中,所以本文会先对Kafka的日志结构和索引进行简单的介绍。在Kafak中,消息以日志的形式保存,每个日志其实就是一个文
Stella981 Stella981
3年前
Kafka生产者发送消息的三种方式
Kafka是一种分布式的基于发布/订阅的消息系统,它的高吞吐量、灵活的offset是其它消息系统所没有的。Kafka发送消息主要有三种方式:1.发送并忘记2.同步发送3.异步发送回调函数下面以单节点的方式分别用三种方法发送1w条消息测试:方式一:发送并忘记(不关心消息是否正常到达,对返回结果不做任何判断处理)发送并忘记的方式本质上也
Stella981 Stella981
3年前
Kafka重平衡机制
点击蓝色字体“肉眼品世界”,关注公众号深度价值体系传递!(https://oscimg.oschina.net/oscnet/cdaf2bb2b6804d68997f17d08fa4ea00.jpg)当集群中有新成员加入,或者某些主题增加了分区之后,消费者是怎么进行重新分配分区再进行消费的?这里就涉及到重平衡(Rebala