Java 通过RestHighLevelClient 使用ES的date_histogram 根据年月日做统计
时间:2022-07-22
本文章向大家介绍Java 通过RestHighLevelClient 使用ES的date_histogram 根据年月日做统计,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
只写了后台,前端请求带上dateType给后台,后端返回封装了json字符串的map
GsonUtil.getJsonStringByObject()是封装的Gson.toJson的方法
前端接受解析结果 并设置echatrs参数 即可完成图表绘制
/**
* 消息趋势统计 dateType由前端传递 包括年月周
* 按年则统计过去12个月
* 按月则统计过去30天
* 按周则统计过去7天
**/
public Map<String, String> msgTrendCount(String dateType) {
//每个索引的时间field name 可能不同 根据索引设置
String rangeField = "messageSendTime";
//索引名
String index = EsIndexName.TG_MESSAGE.getIndexName();
return dateHistogram(rangeField, dateType, index);
}
private Map<String, String> dateHistogram(String rangeField, String dateType, String... indices) {
Map<String, String> map = new HashMap<>(4);
try {
LocalDateTime now = LocalDateTime.now();
DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd hh:mm:ss");
String from;
//extended bounds参数
String boundsStart;
String boundsEnd;
String to = formatter.format(now);
String format = "yyyy-MM-dd";
//bounds的格式化类型需要和format相同
DateTimeFormatter boundsFormatter = DateTimeFormatter.ofPattern(format);
//间隔 年类型较为特殊
DateHistogramInterval interval = DateHistogramInterval.DAY;
switch (dateType) {
case "week": {
from = formatter.format(now.minusDays(6));
boundsStart = boundsFormatter.format(now.minusDays(6));
boundsEnd = boundsFormatter.format(now);
break;
}
case "year": {
from = formatter.format(now.minusMonths(11));
format = "yyyy-MM";
boundsFormatter = DateTimeFormatter.ofPattern(format);
interval = DateHistogramInterval.MONTH;
boundsStart = boundsFormatter.format(now.minusMonths(11));
boundsEnd = boundsFormatter.format(now);
break;
}
case "month":
default: {
from = formatter.format(now.minusDays(29));
boundsStart = boundsFormatter.format(now.minusDays(29));
boundsEnd = boundsFormatter.format(now);
break;
}
}
//范围查询
BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
boolQueryBuilder.must(QueryBuilders.rangeQuery(rangeField).from(from).to(to));
//dateHistogram
AggregationBuilder aggregationBuilder = AggregationBuilders.dateHistogram("dateHistogram")//自定义名称
.dateHistogramInterval(interval)//设置间隔
.minDocCount(0)//返回空桶
.field(rangeField)//指定时间字段
.format(format)//设定返回格式
.extendedBounds(new ExtendedBounds(boundsStart, boundsEnd));//设定范围
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//指定size为0 不返回文档 因为只需要数量
searchSourceBuilder.query(boolQueryBuilder).aggregation(aggregationBuilder).size(0);
SearchRequest searchRequest = new SearchRequest();
searchRequest.source(searchSourceBuilder);
searchRequest.indices(indices);
SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
Aggregation agg = searchResponse.getAggregations().get("dateHistogram");
List<? extends Histogram.Bucket> buckets = ((Histogram) agg).getBuckets();
List<String> dateList = new ArrayList<>(30);
List<String> countList = new ArrayList<>(30);
for (Histogram.Bucket bucket : buckets) {
// maybe:如果不是年 则将key中的年份去掉
dateList.add(bucket.getKeyAsString());
countList.add(String.valueOf(bucket.getDocCount()));
}
map.put("chartTime", GsonUtil.getJsonStringByObject(dateList));
map.put("chartCount", GsonUtil.getJsonStringByObject(countList));
} catch (Exception e) {
log.error("统计日期直方图出错:" + e.getMessage());
}
return map;
}
之前费劲写的好多代码来做这个统计,分别用日期去一天天的查数量,最近学习了解了es自带的 date_histogram
完全契合需求,遂将原笨拙的代码删除改为es的自带聚合 (果然人还是要多读书呀。。。)
速度上目前文档数量不大,没有差别,但预计随着后期文档数量增加,肯定是es的聚合更加高效。
- RESTful API 设计最佳实践
- python爬虫beautifulsoup4系列4-子节点
- 元胞自动机实现多数分类算法
- 51Nod 1289 大鱼吃小鱼(模拟,经典好题)
- 用Metaclass实现一个精简的ORM框架
- HDU 2504 又见GCD(最大公约数与最小公倍数变形题)
- Selenium2+python自动化63-二次封装(click/send_kesy)
- Selenium2+python自动化65-js定位几种方法总结
- HDU 2502 月之数(二进制,规律)
- Tensorflow实战系列:手把手教你使用CNN进行图像分类(附完整代码)
- HDU 2503 a/b + c/d(最大公约数与最小公倍数,板子题)
- python接口自动化6-重定向(Location)
- 2017广东工业大学程序设计竞赛初赛 题解&源码(A,水 B,数学 C,二分 D,枚举 E,dp F,思维题 G,字符串处理 H,枚举)
- python接口自动化7-参数关联
- java教程
- Java快速入门
- Java 开发环境配置
- Java基本语法
- Java 对象和类
- Java 基本数据类型
- Java 变量类型
- Java 修饰符
- Java 运算符
- Java 循环结构
- Java 分支结构
- Java Number类
- Java Character类
- Java String类
- Java StringBuffer和StringBuilder类
- Java 数组
- Java 日期时间
- Java 正则表达式
- Java 方法
- Java 流(Stream)、文件(File)和IO
- Java 异常处理
- Java 继承
- Java 重写(Override)与重载(Overload)
- Java 多态
- Java 抽象类
- Java 封装
- Java 接口
- Java 包(package)
- Java 数据结构
- Java 集合框架
- Java 泛型
- Java 序列化
- Java 网络编程
- Java 发送邮件
- Java 多线程编程
- Java Applet基础
- Java 文档注释