Kafka集群搭建
时间:2020-04-07
本文章向大家介绍Kafka集群搭建,主要包括Kafka集群搭建使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
kafka安装前提
需要安装对应版本的scala,jdk,zookeeper
安装步骤
解压
sudo tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local/
改名+增加权限
sudo mv kafka_2.11-0.11.0.0/ ./kafka
sudo chown -R hadoop ./kafka
建立日志存放路径
sudo mkdir logs
更改配置文件server.properties
#broker 的全局唯一编号,不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181
配置环境变量
sudo gedit ~/.bashrc
$KAFKA_HOME=/usr/local/kafka/bin
source ~/.bashrc
将/kafka目录分发给其他节点hadoop2,hadoop3
需要在各自的配置文件server.properties修改broker.id=1,broker.id=2。每个broker的broker.id要不相同。
启动和关闭集群
需要在每个节点单独启动
hadoop1 bin/kafka-server-start.sh -daemon config/server.properties
hadoop2 bin/kafka-server-start.sh -daemon config/server.properties
hadoop3 bin/kafka-server-start.sh -daemon config/server.properties
需要在每个节点单独关闭
hadoop1 bin/kafka-server-stop.sh stop
hadoop2 bin/kafka-server-stop.sh stop
hadoop3 bin/kafka-server-stop.sh stop
或者使用脚本,ssh访问来开启集群
for i in hadoop1 hadoop2 hadoop3
do
echo "========== $i =========="
ssh $i '/usr/local/kafka/bin/kafka-server-start.sh -daemon
/opt/module/kafka/config/server.properties'
done
原文地址:https://www.cnblogs.com/chenshaowei/p/12655882.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- ESP8266简单介绍
- 基于MTCNN和MobileFaceNet实现的人脸识别
- 学习 | egg.js 从入门到精通
- 形式化分析工具AVISPA(三)学习User micro-manual of AVISPA
- 形式化分析工具AVISPA(三)2.学习User micro-manual of AVISPA
- s6中class的一些基础知识和es5语法的对比
- 在CentOS 8上使用Elastic Stack: Elasticsearch/Kibana 7.8的部署与认证配置
- 做一个简单的京东购物栏
- 解决Elasticsearch SQL命令行启动报错 ./x-pack-env: No such file or directory
- MySql 入门到精通-sql查询语句的执行过程,你真的知道吗?
- 用 float 存储金额,老板说损失从工资里扣!
- 分布式追踪实战
- python的接班者之coconut
- Docker 垃圾回收机制补充
- 通过docker image 获取到 dockerfile