Kafka集群环境配置

Stella981
• 阅读 1112

Kafka集群环境配置

1 环境准备

1.1 集群规划

Node02

Node03

Node04

zk

zk

zk

kafka

kafka

kafka

1.2 jar包下载

安装包:kafka_2.11-0.8.2.1.tgz
下载地址:http://kafka.apache.org/downloads.html

2 Kafka集群部署

1)解压安装包

$ tar -zxvf kafka_2.11-0.8.2.1.tgz -C /usr/local/bigdata

2) 进入到安装目录

$ cd /usr/local/bigdata/kafka_2.11-0.8.2.1 

3)在/usr/local/bigdata/kafka_2.11-0.8.2.1 目录下创建logs文件夹

$ mkdir logs

4)修改配置文件

$ cd config/
$ vi server.properties

输入以下内容:

#broker的全局唯一编号,不能重复,其他机器上有修改
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/usr/local/bigdata/kafka_2.11-0.8.2.1/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=Node02:2181,Node03:2181,Node04:2181

5)配置环境变量

$ vi ~/.bashrc




#KAFKA_HOME
export KAFKA_HOME=/usr/local/bigdata/kafka_2.11-0.8.2.1 
export PATH=$PATH:$KAFKA_HOME/bin
```s
$ source ~/.bashrc

6)分发安装包

$ scp -r kafka_2.11-0.8.2.1/ hadoop@Node03:/usr/local/bigdata/
$ scp -r kafka_2.11-0.8.2.1/ hadoop@Node04:/usr/local/bigdata/

注意:分发之后记得配置其他机器的环境变量

7)分别在Node03和Node04上修改配置文件

修改/usr/local/bigdata/kafka_2.11-0.8.2.1/config/server.properties中的 broker.id=1、broker.id=2

注:broker.id不得重复

3 Kafka集群的启动和关闭

启动Kafka之前要先启动zookeeper

#启动
$ /usr/local/bigdata/zookeeper-3.4.6/bin/zkServer.sh start

#查看状态

$ /usr/local/bigdata/zookeeper-3.4.6/bin/zkServer.sh status
  • 启动集群
    依次在Node02、Node03、Node04节点上启动kafka

    $ kafka-server-start.sh /usr/local/bigdata/kafka_2.11-0.8.2.1/config/server.properties &

  • 关闭集群

    $ kafka-server-stop.sh stop

本文同步分享在 博客“foochane”(JianShu)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
京东面试真题解析,手撕面试官
第1章快速入门1.1Kafka简介1.2以Kafka为中心的解决方案1.3Kafka核心概念1.4Kafka源码环境第2章生产者2.1KafkaProducer使用示例2.2KafkaProducer分析ProducerInterceptors&cProducerInterceptorKafka集群元数据Serializ
Stella981 Stella981
3年前
Kafka 集群安装
Kafka集群安装  环境:    Linux7.X    kafka\_2.x   在linux操作系统中,kafka安装在/u04/app目录中  1.下载     wgethttps://mirrors.cnnic.cn/apache/kafka/2.1.1/kafka\_2.112.1.1.
Stella981 Stella981
3年前
Kafka安装教程(详细过程)
安装前期准备:1,准备三个节点(根据自己需求决定)2,三个节点上安装好zookeeper(也可以使用kafka自带的zookeeper)3,关闭防火墙chkconfig iptablesoff一、下载安装包Kafka官网下载安装包http://kafka.apache.org/downloads.html我们下载第二种(已
Stella981 Stella981
3年前
Kafka数据迁移MaxCompute最佳实践
前提条件搭建Kafka集群进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka快速入门。本文使用的EMRKafka版本信息如下:EMR版本:EMR3.12.1集群类型:Kafka软件信息:Ganglia3.7.2ZooKeeper
Wesley13 Wesley13
3年前
KAFKA官方教程笔记
 因为kafka配置较多,所以单独写一篇博客来记录。       1,broker配置   主要的配置项有三个broker.id集群内唯一log.dir数据目录zookeeper.connectzookeeper连接地址Topiclevelconfigurationsanddefaultsa
Stella981 Stella981
3年前
KafKa集群安装、配置
一、事前准备   1.kafka官网:http://kafka.apache.org/downloads.   2.选择使用版本下载.   3.kafka集群环境准备:(linux)    192.168.145.129 主机名:kafka01    192.168.145
Stella981 Stella981
3年前
Kafka配置文件
服务基本设置Theidofthebroker.Thismustbesettoauniqueintegerforeachbroker.kafka集群分组ID
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这