HBase监控
时间:2022-07-23
本文章向大家介绍HBase监控,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
HBase Web-UI
HBase自带的Web UI上Region单位的 Read Request Count/Write Request Count,不过这只是个累计值。
Region Load Data in Recent One Minute
https://hb-xxxx-nginx-master1-001.hbase.rds.aliyuncs.com/master-1/topregion.jsp
顾名思意:Region Load Data in Recent One Minute
,查看最近一分钟的Region上分布的表的每秒读/写次数。
Region Load Data in Recent One Minute.png
小时-日-周-月-年 维度监控表的读写情况(aggregate graphs)
https://hb-xxx-nginx-master1-001.hbase.rds.yyyy.com/gl/ganglia/aggregate_graphs.php
来自"咖喱鸭".png
regionserver.Tables.namespacne_{Namespace}_table_{tablename}_metric_readRequestCount
regionserver.Tables.namespace_{Namespace}_table_{tablename}_metric_writeRequestCount
小时-日-周-月-年 维度.png
MyGrid Grid-->hbase_cluster
以node为单位,时间维度观测metrics指标信息
https://hb-xxxxxx-nginx-master1-001.hbase.rds.aliyuncs.com/gl/ganglia/?r=month&cs=&ce=&c=hbase_cluster&h=&tab=m&vn=&hide-hf=false&m=regionserver.Tables.Namespace_namespace_table_tablename_metric_totalRequestCount&sh=1&z=small&hc=4&host_regex=&max_graphs=0&s=by+name
image.png
image.png
Put/Get RT
image.png
image.png
image.png
从监控上看,hbase get key
的时间非常短,999在1~2ms
之间,不过有很多客户端代码逻辑中耗时较多的操作,如多次遍历获取一条记录的多个column,创建HBase Connection,scan多个rowkey。
HBase监控哪些
存储
image.png
读请求
image.png
写请求
image.png
集群负载
image.png
CPU与系统负载
- 每分钟平均负载
- 最近5分钟平均负载
- CPU利用率user(%)
- CPU空闲率(%)
- CPU利用率system(%)
- CPU利用率IOWait(%)
系统内存
- 空闲内存比例(0-1)
- 空闲内存总量(KB)
- 内存总量(KB)
网络流量
- 每秒网络流入量(bytes/s)
- 每秒网络流出量(bytes/s)
其他豆知识
HBase写入是先写WAL,然后写内存,如果宕机了,内存里的数据会丢失,需要回放log恢复数据之后,region才能上线,这个是需要时间的一般是3到5分钟。 而升级是不要这个过程的,region会先移走这个时间是百ms级别的。
hbase zk针对某个ip机器上连接有个上限:200,整体上HBase的连接数没有上限,据官方说是几十万级别的。 范围读说是的是 scan[startkey, endkey],顺序的扫描数据
- CentOS mysql配置主从复制
- Quartz依赖数据库表
- Spring Security Oauth2.0 实现短信验证码登录
- 【Spring Cloud】Redis缓存接入监控、运维平台CacheCloud
- 基于Redis实现分布式应用限流
- Jasypt : 整合spring boot加密应用配置文件敏感信息
- Eureka:扩展ClientFilter实现服务注册自定义过滤
- 【系统日志】log4j配置学习总结
- 【译】MySQL char、varchar的区别
- 【jfinal修仙系列】修改ShiroPlugin支持jfinal3.0
- MySQL二进制日志
- 【nginx启动】 97 Address family not supported by protocol
- jfinal 内置的handler功能
- JS 对指定iframe 全屏操作
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- n3.Docker之Win10和Server使用实例
- GitHub 再见 Master !
- IT运维面试问题总结-Linux基础
- 6.Docker使用辅助工具汇总
- IT运维面试问题总结-基础服务、磁盘管理、虚拟平台和系统管理
- IT运维面试问题总结-运维工具、开源应用(Ansible、Ceph、Docker、Apache、Nginx等)
- IT运维面试问题总结-数据库、监控、网络管理(NoSQL、MongoDB、MySQL、Prometheus、Zabbix)
- IT运维面试问题总结-LVS、Keepalived、HAProxy、Kubernetes、OpenShift等
- GitHub 标星 119K+!这些神器仅需一行代码即可下载全网视频!
- React进阶(2)-上手实践Redux-如何获取store的数据
- 关于Python3.9,这张「新特性必知图」就够了
- 3.Docker学习之Dockerfile
- n1.Docker命令参数一览表
- 2.Docker学习之基础使用
- 4-Kubernetes基础实战操作与配置