flink实战-使用广播实现报警阈值动态更新
- 简介
- 使用方法
- 简述一下需求
- 自定义source
背景
紧接着上一篇文章【FLINK实战-使用CEP进行网站监控报警和报警恢复】,上一篇主要讲了怎么对数据流做监控报警,但是实际生产环境中,可能我们对这个报警的阈值设置成多大也没有一个准,可能需要根据经验不断的来修改,所以就涉及了可能需要不断的修改这个报警的阈值,但是如果每次修改了之后,都通过重启flink程序来实现,这个成本就有点高了,所以我们这次主要是讲解一下,如何使用flink的广播动态的更新配置来设置这个报警的阈值.
flink broadstate
简介
是flink提供的一种算子,可以使用一个Stream接收不断变化的数据(比如我们的配置数据),然后把这些数据广播到flink的所有task中,这样主Stream中的数据就能动态的从广播流中获取所需要的配置,然后根据动态的配置来处理数据.
使用方法
构造广播流
//构造一个map state descriptor
MapStateDescriptor<String,Long> confDescriptor = new MapStateDescriptor<>(
"config-keywords",
BasicTypeInfo.STRING_TYPE_INFO,
BasicTypeInfo.LONG_TYPE_INFO);
//配置流,比如我们可以从kafka动态接受配置,或者循环去读取数据库之类的
DataStream confStream = env.addSource(new BroadcastSource());
//构造广播流
BroadcastStream<Integer> broadcastStream = confStream.broadcast(confDescriptor);
其中BroadcastStream和非BroadcastStream可以通过非广播流connect广播流来连接,返回的结果是一个BroadcastConnectedStream,非广播流可以是DataStream或者KeyedStream,我们可以调用process()进行数据的处理,具体的处理主要取决于非广播流是keyed还是non-keyed
- if that is keyed, then the function is a KeyedBroadcastProcessFunction.
- if it is non-keyed, the function is a BroadcastProcessFunction.
调用不同的处理类会有不同的实现方法
BroadcastProcessFunction和KeyedBroadcastProcessFunction这两个类如下所示:
public abstract class BroadcastProcessFunction<IN1, IN2, OUT> extends BaseBroadcastProcessFunction {
public abstract void processElement(IN1 value, ReadOnlyContext ctx, Collector<OUT> out) throws Exception;
public abstract void processBroadcastElement(IN2 value, Context ctx, Collector<OUT> out) throws Exception;
}
public abstract class KeyedBroadcastProcessFunction<KS, IN1, IN2, OUT> {
public abstract void processElement(IN1 value, ReadOnlyContext ctx, Collector<OUT> out) throws Exception;
public abstract void processBroadcastElement(IN2 value, Context ctx, Collector<OUT> out) throws Exception;
public void onTimer(long timestamp, OnTimerContext ctx, Collector<OUT> out) throws Exception;
}
- processBroadcastElement用于处理广播流中的数据,processElement用于处理主流中的数据。
- 两种方法在提供Context方面有所不,非广播方有ReadOnlyContext,而广播方有Context,也就是广播方具有写权限
- 两个Context 提供的功能
- 允许访问广播状态:ctx.getBroadcastState(MapStateDescriptor<K, V> stateDescriptor)
- 允许查询元素的时间戳:ctx.timestamp()
- 得到当前的水印:ctx.currentWatermark()
- 获得当前处理时间:ctx.currentProcessingTime()
- 将元素发射到侧输出:ctx.output(OutputTagoutputTag, X value)
- 此外keyed流多了一个onTimer方法,也就是他可以注册定时任务。
实例讲解
简述一下需求
- 统计每秒钟状态码非200的错误数和错误率
- 如果错误数大于指定的阈值则报警
- 阈值动态可配置
自定义source
首先通过自定义source和sql计算出来错误数和错误率
String sql = "select pv,errorcount,round(CAST(errorcount AS DOUBLE)/pv,2) as errorRate," +
"(starttime + interval '8' hour ) as stime," +
"(endtime + interval '8' hour ) as etime " +
"from (select count(*) as pv," +
"sum(case when status = 200 then 0 else 1 end) as errorcount, " +
"TUMBLE_START(proctime,INTERVAL '1' SECOND) as starttime," +
"TUMBLE_END(proctime,INTERVAL '1' SECOND) as endtime " +
"from log group by TUMBLE(proctime,INTERVAL '1' SECOND) )";
Table table = tenv.sqlQuery(sql);
DataStream<Result> dataStream = tenv.toAppendStream(table, Result.class);
然后我们自定义一个广播流的source,这里我们循环生成一些随机数来模拟生产环境,实际中我们可以去消费kafka的数据,或者循环去查询数据库。
public static class BroadcastSource implements SourceFunction<Integer>{
@Override
public void run(SourceContext<Integer> ctx) throws Exception{
while (true){
Thread.sleep(3000);
ctx.collect(randInt(15, 20));
}
}
/**
* 生成指定范围内的随机数
* @param min
* @param max
* @return
*/
private int randInt(int min, int max){
Random rand = new Random();
int randomNum = rand.nextInt((max - min) + 1) + min;
return randomNum;
}
@Override
public void cancel(){
}
}
最后我们把两个流连接起来
dataStream.connect(broadcastStream)
.process(new BroadcastProcessFunction<Result,Integer,Result>(){
@Override
public void processElement(
Result element,
ReadOnlyContext ctx,
Collector<Result> out) throws Exception{
Long v = ctx.getBroadcastState(confDescriptor)
.get("value");
if (v != null && element.getErrorcount() > v){
LOG.info("收到了一个大于阈值{}的结果{}.", v, element);
out.collect(element);
}
}
@Override
public void processBroadcastElement(
Integer value,
Context ctx,
Collector<Result> out) throws Exception{
ctx.getBroadcastState(confDescriptor)
.put("value", value.longValue());
}
});
生产环境下,我们可以把这个输出流通过process处理,发送到我们的报警系统。
完整的代码请参考
https://github.com/zhangjun0x01/bigdata-examples/blob/master/flink/src/main/java/cep/WebMonitorAlertDynamicConf.java
- Augmate公司应用分布式账本技术,将IOTA整合为物联网设备管理平台
- 一域名一年前六位数终端易主 是为了......
- 黑客通过Facebook Messenger传播加密货币挖掘恶意软件
- linq to sql的多条件动态查询(下)
- iptables网络安全服务详细使用
- iptables网络安全服务详细使用
- linq to sql的多条件动态查询(上)
- 极简区块链手册:什么是区块链?什么是比特币?
- Nginx+keepalived实现高可用
- 来一波Linux中查看cpu、磁盘、内存、网络的命令
- PXE+kickstart网络安装CentOS7.4系统及过程中各种报错
- [MSDN]通过避免下列 10 个常见 ASP.NET 缺陷使网站平稳运行
- Flask-配置与调试
- PXE+kickstart网络安装CentOS7.4系统及过程中各种报错
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Linux与Windows文件互传(VMWare)
- 如何测试Linux下tcp最大连接数限制详解
- Linux中利用Vim对文件进行密码保护的方法详解
- Linux中禁止用户修改/重置密码
- 详解 MAC/Linux Vi配置环境变量及Java环境变量配置
- 扒开DMA映射的内裤
- 如何理解与识别Linux中的文件类型
- ubantu 16.4下Hadoop完全分布式搭建实战教程
- Linux定时删除日志的简单实现方法
- ubuntu如何安装中文输入法
- Ubuntu18.04安装Python虚拟环境
- linux下查看so或可执行程序的依赖库
- Linux中crontab输出重定向不生效问题的解决方法
- Ubuntu中安装MySQL更改默认密码的步骤详解
- linux下用csplit命令分割文件的方法示例