转载自 huxihx(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fhuxi2b)，原文链接 Kafka如何读取offsettopic内容(\_\_consumer\_offsets)(https://www.oschina.net/a

一、logstash结合kafka收集系统日志和nginx日志架构图：!(https://oscimg.oschina.net/oscnet/2d28dece38ea896fdb974165c799ff8130a.png)环境准备：A主机：kibana、e

\resourcejar\_pathclazzjobNamebootstrap\_servertopicgroupIdisSecuritytrueconsumerStrategyredis\_hostnameredis\_portif\"$isSecu

Ahighthroughputdistributedmessagingsystem.\ApacheKafkaKafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。本文将针对K

以下操作均在主节点进行1.环境变量添加FLINK\_HOME以及path的内容：exportFLINK_HOME/bigdata/flink1.6.1exportPATH$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOM

RabbitMQ和kafka从几个角度简单的对比(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cnblogs.com%2Fdavidwang456%2Fp%2F4076097.html)

Redis:间值数据库，适合缓存用户Session会话与经常需要查的数据1.Redis集群，为什么在项目中使用集群 1.持久化，持久化是最简单的高可用方法（有时甚至不被归为高可用的手段），主要左右是数据备份，即将数据存储在硬盘，保证数据不会因进程退出而丢失；2、复制：主从复制是高可用Redis的基础，哨兵和集群都是在复制基础上实现高可用

写在前面1.用到了kafka,于是借机会看看代码,顺便复习下Scala,看到一半,换电脑了,搭环境有搭了半天,所以记录下.注意这里是0.8.2.2版本,因为公司用的就是这个版本.依赖的软件1.Git2.ScalaIDE(4.4.1)3.Gradle4.ZooKeeper环

!(https://oscimg.oschina.net/oscnet/f75f01e442b51135178340448c6d282ac43.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT

缘起生产环境突然报：log地址：kafkalua客户端地址：