Elasticsearch索引增量统计及定时邮件实现
时间:2022-05-04
本文章向大家介绍Elasticsearch索引增量统计及定时邮件实现,主要内容包括0、需求、1、问题分解、1.2 如何实现增量?、1.3 如何实现统计、1.4 如何实现定时邮件统计、2、具体实现、2.2 Java读取Shell脚本、2.3 增量数据统计、3、难点、4、小结、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
0、需求
随着ELKStack在应用系统中的数据规模的急剧增长,每天千万级别数据量(存储大小:10000000*10k/1024/1024=95.37GB,假设单条数据10kB,实际远大于10KB)的累积成为日常需求。 如何以相对简单的图形化效果展示数据的增量呢? 本文给出思路和实现。
1、问题分解
1.1 ES集群的数据量统计
ES自带的命令行统计举例:
curl 'localhost:9200/_cat/indices?v'
1.2 如何实现增量?
简化思路: 1)每天的固定时间,如早晨00:00统计一次当天的数据量,形成日志文件存储如:20180228-00:00.log 2)20180228的增量为:20180229-00:00.log的数据值-20180228-00:00.log的数据量。(下一天-前一天)
1.3 如何实现统计
简化思路: 1)shell脚本获取每天统计的数据量 2)Excel公式简单计算增量
1.4 如何实现定时邮件统计
简化思路: 1)java + 邮件程序 + 读取脚本实现。 2)crontab实现定时任务处理。
2、具体实现
2.1 单日数据量统计
返回结果如下:
2.2 Java读取Shell脚本
2.3 增量数据统计
步骤1:单日数据统计。
步骤2:增量数据统计。
步骤1,步骤2数据可以Excel统计得出。
其中单日数据的拷贝shell脚本如下:
步骤3:Excel生成图表。
3、难点
无
4、小结
通过shell脚本+Excel数据统计,简单实现了数据增量可视化。 通过java+邮件处理+定时任务,实现了数据的定时统计以及定时邮件预警功能。 可以,在此基础上,做更多的扩展应用,比如:
- 1)集群监控状态监控;
- 2)集群堆内存使用监控;
- 3)开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 零基础Python教程040期 序列分片技术
- JS实现图片弹窗效果
- [网络安全] 一.Web渗透入门基础与安全术语普及
- 多线程系列(二)之Thread类
- 多线程系列(三)之线程池
- 13 个 JavaScript 数组精简技巧
- 增强型的 <input type=number>
- Python-sqlite3-08-往数据库中写入Excel中信息
- 键盘敲入 A 字母时,操作系统期间发生了什么...
- 类与对象」NSObject对象的分类
- 如何取SQL结果集的第一条记录
- postman的使用技巧
- Nodejs Serialport文档翻译
- Flask-Login文档翻译
- jsp作业——简单的试卷和自动打分