Linux下Kafka分布式集群安装教程
时间:2022-07-27
本文章向大家介绍Linux下Kafka分布式集群安装教程,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
Kafka(http://kafka.apache.org/) 是由 LinkedIn 使用 Scala 编写的一个分布式消息系统,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础,具有高水平扩展和高吞吐量。Spack、Elasticsearch 都支持与 Kafka 集成。下面看一下几种分布式开源消息队列系统的对比:
Kafka 集群架构:
一般不建议直接使用 Kafka 自带的 Zookeeper 建立 zk 集群,这里我们使用独立的 zk 集群,zk 集群搭建参考文章 Linux下ZooKeeper分布式集群安装。
这里 Linux 选择 CentOS 7.2。
# cd /usr/local
# mkdir kafka
# cd kafka
# wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
# tar -zxvf kafka_2.11-1.0.0.tgz
# mkdir kafka-logs
# cd kafka_2.11-1.0.0/config
# vim server.properties
编辑配置文件 (配置项可以参考 http://kafka.apache.org/documentation.html#brokerconfigs) 为:
# 唯一标识,0开始
broker.id=0
# 服务器端口和ip
port=9092
host.name=192.168.2.20
# 日志数据保存的目录
log.dirs=/usr/local/kafka/kafka-logs
log.retention.hours=168
# 每条消息能够容纳的最大大小,默认1000012
message.max.bytes=5242880
# 默认的副本因子,即保存消息的副本数,默认1
default.replication.factor=2
# 取消息的最大直接数,默认1048576
replica.fetch.max.bytes=5242880
# 配置zk地址
zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181
启动 Kafka 之前需启动 Zookeeper,然后启动 Kafka,各个节点需单独启动:
# cd /usr/local/kafka/kafka_2.11-1.0.0/bin
# ./kafka-server-start.sh -daemon ../config/server.properties //后台启动服务
# jps //查看服务是否启动成功
# ./kafka-server-stop.sh //关闭服务
最后我们在三台不同的服务器上各部署一个 Kafka 进程,以构成一个 Kafka 集群。开始使用可以参考官方文档 http://kafka.apache.org/documentation.html#quickstart。
以上就是本文的全部内容,希望对大家的学习有所帮助。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 盘一盘Tidyverse| 筛行选列之select,玩转列操作
- 2-14 |“特殊”的日子,多学一种表达爱的方式
- 盘一盘Tidyverse| 只要你要只要我有-filter 筛选行
- RNA相互作用神器——ENCORI
- R|tableone 快速绘制文章“表一”-基线特征三线表
- R-apply| 基因表达量批量二分类,Get!(修正版)
- TCGAbiolinks获取癌症临床信息
- R-rbind.fill|列数不一致的多个数据集“智能”合并,Get!
- R-ggpmisc|回归曲线添加回归方程,R2,方差表,香不香?
- 靶场测试Writeup编写框架
- 搭建本地 HTTPS 环境
- JavaScript时钟
- 网址导航
- Ceph CSI 3.0.0 发布了!
- 自然语言处理——词频统计