Kafka监控必备——Kafka-Eagle 2.0.2正式发布
时间:2022-07-26
本文章向大家介绍Kafka监控必备——Kafka-Eagle 2.0.2正式发布,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
对于经常使用Kafka的同学,拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况,了解实时数据流的变化。
Kafka Eagle
Kafka Eagle是一个监控系统,监控Kafka群集以及偏移量,消费者等等。
通过Kafka Eagle可以看到当前的消费者组,对于每个组,他们正在使用的主题以及该组在每个主题中的偏移量,消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者,也可以对Kafka系统的整体运作情况有一个宏观的认识。
支持的Kafka版本:0.8.2.x
,0.9.x
,0.10.x
,0.11.x
,1.x
,2.x
支持的系统:Mac OS X
,Linux
,Windows
JDK:JDK8+
自从Kafka Eagle开源以来,也得到了迅速的发展,目前GitHub的Star已经突破1.5K
下面我们来了解一下Kafka Eagle的核心功能。
功能展示
大屏支持
炫酷的大屏展示,生产者消费者情况,消息积压情况。
报警支持
自定义报警阈值,触发报警
报警消息情况
除了支持email
警报外,Kafka Eagle还支持即时消息警报,例如DingDing
和WeChat
。
消费者组列表和活动图
消费者组的情况
主题列表明细
每个主题的具体情况
消费者与生产者图表
特色功能
偏移量
Kafka的偏移量存储位置发生过变化,这一直是监控的一大难题。
- Kafka0.8.2之前的版本,偏移量存储于Zookeeper中。
- 0.10.0以后的Kafka版本默认建议在Kafka主题(__consumer_offsets)中。
这两种Kafka Eagle都支持,Kafka Eagle支持多个偏移量存储路径。如果将它们存储在Zookeeper和Kafka中,则可以像这样配置它们。
# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2
# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper
Kafka SQL
可以使用SQL语法查询Kafka消息
select * from ke_p3_r2 where `partition` in (0,1,2) limit 10
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- leetcode链表之反转链表
- leetcode链表之合并两个排序的链表
- leetcode链表之找出倒数第k个节点
- ZooKeeper能解决什么问题?不能解决什么问题?
- 画解算法 77-组合
- Spring 源码系列之容器概览~
- Spring Security 中如何让上级拥有下级的所有权限?
- Spring Security 权限管理的投票器与表决机制
- 通过cycler实现属性的自动映射
- 为你的图片添加图例
- matplotlib中的黑魔法:constrained和tight layout
- 用不同的坐标系统对图形元素进行定位
- 对《丢鸡蛋问题》的一点补充
- HA(高可用)就像套娃,像胖子,剥掉一层还有一层
- 《丢鸡蛋问题》重制版来袭~