kafka安装配置
时间:2019-08-07
本文章向大家介绍kafka安装配置,主要包括kafka安装配置使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
kafka安装配置
1.tar -zxvf kafka_2.11-0.11.0.2.tgz -C /usr/local/software/
2.mv kafka_2.11-0.11.0.2/ kafka
3.cd /usr/local/software/kafka mkdir logs
4.cd config/
5.vim server.properties
42服务器:
broker.id=42
delete.topic.enable=true
log.dirs=/usr/local/software/kafka/logs
zookeeper.connect=192.168.31.42:2181,192.168.31.43:2181,192.168.31.44:2181
43服务器:
broker.id=43
delete.topic.enable=true
log.dirs=/usr/local/software/kafka/logs
zookeeper.connect=192.168.31.42:2181,192.168.31.43:2181,192.168.31.44:2181
44服务器:
broker.id=44
delete.topic.enable=true
log.dirs=/usr/local/software/kafka/logs
zookeeper.connect=192.168.31.42:2181,192.168.31.43:2181,192.168.31.44:2181
6.启动 kafka
bin/kafka-server-start.sh config/server.properties
创建 topic
bin/kafka-topics.sh --create --zookeeper 192.168.31.42:2181 --partitions 2 --replication-factor 2 --topic first
查看 topic
bin/kafka-topics.sh --list --zookeeper 192.168.31.42:2181
--控制台启动producer
bin/kafka-console-producer.sh --broker-list 192.168.31.42:9092 --topic first
--生产者连得是kafka集群
--控制台启动consumer
bin/kafka-console-consumer.sh --zookeeper 192.168.31.43:2181 --from-beginning --topic first
bin/kafka-console-consumer.sh --zookeeper pengyy43:2181 --topic fisrt
--消费者连得是 zookeeper 集群
bin/kafka-console-consumer.sh --bootstrap-server 192.168.31.42:9092 --from-beginning --topic first
查看进程 jps jos -l
新版本offset 保留在本地kafka集群,如果保留在你zookeeper集群上,则consumer一边要与kafka集群 leader 通信 获取数据,还要与zookeeper集群通信 保留offset ,这样设计太麻烦 干脆直接保存在kafka集群中
kafka副本数量(replication-factor)不能大于kafka集群节点个数
原文地址:https://www.cnblogs.com/pengyy/p/11318248.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 通过实际案例摸清楚Spring事务传播的行为
- 腾讯云TKE使用
- 把redux当做观察者单独使用
- 用Spring Boot Admin来监控我们的微服务
- java+testNG测试框架搭建(接口测试或者ui测试)
- 解决Selenium testNG执行测试时,每个测试方法都打开一个浏览器窗口的问题
- selenium元素定位中css或者xpath不选择某一类元素
- TRTC横竖屏切换
- Swift 元祖
- Flutter - 解决混合开发iOS脚本打包遇到的问题
- Shader 特效 —— Film Burn (炫光光晕)效果【GLSL】
- java selenium chromedriver浏览器驱动放在哪里?【两种位置】
- 56. Vue原生js的组件拆分结构设计
- 一步一步教你把 Redux Saga 添加到 React&Redux 程序中
- Octave的基本语句及函数的使用入门—ML Note 31