Kafka单机安装
时间:2021-07-26
本文章向大家介绍Kafka单机安装,主要包括Kafka单机安装使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
一、Kafka简介
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的
分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索
和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过
处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是
一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过
集群来提供实时的消息。
类似的组件还有:Azure的ServiceBus、RabbitMQ等,据网上描述,Kafka比RabbitMQ性能强。
二、安装
2.1、安装Kafka之前得先安装jdk,最好就是1.8及以上
参考:https://www.cnblogs.com/hsyw/p/13203495.html
2.2、下载Kafka
下载地址:http://kafka.apache.org/downloads.html
2.3、安装
#我下载的是kafka_2.11-2.2.1.tgz,需要什么版本可自选
[root@t1 ~]# tar -zxvf kafka_2.11-2.2.1.tgz -C /app/ && cd /app
[root@t1 app]# mv kafka_2.11-2.2.1/ kafka
[root@t1 app]# cd kafka/
#存放Kafka日志
[root@t1 kafka]# mkdir logs
[root@t1 kafka]# vim config/server.properties
#修改日志目录方便查看日志
log.dirs=/app/kafka/logs
2.4、启动
#启动Kafka得先启动zookeeper,可以用内置的,也可以自带。我这用的是另外安装的,默认端口是2181,所以不 修改Kafka的启动配置文件
#前台启动看看有没有报错,如果有报错排查
[root@t1 bin]# ./kafka-server-start.sh ../config/server.properties
#后台启动,可以到日志查看是否有错误
[root@t1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
三、验证
3.1、创建一个Topic
[root@t1 bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic test.
3.2、查看刚刚创建的Topic
[root@t1 bin]# ./kafka-topics.sh --list --zookeeper localhost:2181
3.3、产生消息
[root@t1 bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>hello tzh
>ni zui jin hai hao ma
>wo hen xiang ni
3.4、消费消息
###高版本用--bootstrap-server消费消息
[root@t1 bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.47.188:9092 --topic test --from-beginning
hello tzh
ni zui jin hai hao ma
wo hen xiang ni
###低版本用--zookeeper消费消息
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
四、bin目录文件介绍
kafka-server-start.sh Kafka服务启动脚本
kafka-server-stop.sh Kafka服务停止脚本
kafka-console-consumer.sh Kafka命令窗口消费者启动脚本
kafka-console-producer.sh Kafka命令窗口生产者启动脚本
zookeeper-server-start.sh Kafka自带zookeeper服务的启动脚本
zookeeper-server-stop.sh Kafka自带zookeeper服务的停止脚本
五、conf目录文件介绍
server.properties Kafka服务的启动配置文件
zookeeper.properties Kafka自带zookeeper的启动配置文件
转自:https://www.cnblogs.com/hsyw/p/13416311.html
原文地址:https://www.cnblogs.com/javalinux/p/15060997.html
- [认证授权] 4.OIDC(OpenId Connect)身份认证授权(核心部分)
- [OIDC in Action] 1. 基于OIDC(OpenID Connect)的SSO
- [OIDC in Action] 2. 基于OIDC(OpenID Connect)的SSO(纯JS客户端)
- [认证授权] 2.OAuth2授权(续) & JWT(JSON Web Token)
- [Cake] 0.C#Make自动化构建-简介
- [认证授权] 3.基于OAuth2的认证(译)
- [Asp.Net Core] 1. IIS中的 Asp.Net Core 和 dotnet watch
- kafka数据迁移实践
- HDFS 2.x 磁盘间数据均衡的一种可行办法
- Batik渲染png图片异常的bug修复全程记录
- Web应用服务器安全:攻击、防护与检测
- 基于Go Packet实现网络数据包的捕获与分析
- 动态追踪技术(四):基于 Linux bcc/BPF 实现 Go 程序动态追踪
- Hive 时间转换函数使用心得
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- height、offsetheight、clientheight、scrollheight、innerheight、outerheight
- mysql sql-mode 解析和设置
- JAVABEAN EJB POJO区别
- @Component和@Bean以及@Autowired、@Resource
- mybatis generator and 和or条件
- 『.Net反射』ILGenerator.Emit 动态MSIL 编程
- Spring通过XML配置文件以及通过注解形式来AOP 来实现前置,后置,环绕,异常通知
- 切面编程(环绕通知与前后置通知区别)
- Spring在代码中获取bean的几种方式
- Spring 一个接口多个实现类怎么注入
- ASP.NET MVC Controller的激活
- js 逗号表达式
- spring动态调用方法
- Spring AOP动态代理原理与实现方式
- 基于注解多数据源解决方案