Logstash2.3.4趟坑之集成Redis哨兵模式
时间:2022-05-14
本文章向大家介绍Logstash2.3.4趟坑之集成Redis哨兵模式,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
最新在使用Lostash2.3.4收集数据的时候,在读取redis数据的时候,报了如下的一个异常:
异常如下
Pipeline aborted due to error {:exception=>#<URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>, :backtrace=>["/home/search/logstash-2.3.4/vendor/jruby/lib/ruby/1.9/uri/generic.rb:214:in `initialize'"
Logstash自带的ruby是1.9的版本,自带集成的redis插件也是最新的redis-rb3.3.1
Logstash里面默认自带了redis插件,也就是redis-rb3.3.1
如果没带可以进入logstash目录:
logstash-2.3.4vendorjrubybin进行安装
cd logstash-2.3.4vendorjrubybingem install redis
如果redis采用的是哨兵模式的集群,那么redis-rb插件也是支持的,具体的看官网github文档:
https://github.com/redis/redis-rb
logstash的代码如下:
input{
stdin{}
}
filter{
ruby{
init => "
require 'redis'class Rconn
@@SENTINELS = [{:host => '192.168.10.214', :port => 26381},
{:host => '192.168.10.214', :port => 26382},
{:host => '192.168.10.214', :port => 26383}]
def self.con
@@con
end
def self.SENTINELS
@@SENTINELS end
@@con = Redis.new(:url => 'redis://redismaster10214', :sentinels => Rconn.SENTINELS, :role => :master)end"
code => "event['redis_data']=Rconn.con.get(event['message'])
"
}
}
output{
stdout { codec => rubydebug }
}
注意下面这句话
:url => 'redis://redismaster10214'
redis的哨兵masterName在ruby1.9中必须不能带下划线,否则会报下面的异常:
错误的用法
:url => 'redis://redis_master_10214'
<URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>,
ruby里面的标准的url校验,发现url里面如果有带下划线的,会认为是不合法的url,具体可参考下面两个问题连接:
https://github.com/docker/compose/issues/472
http://stackoverflow.com/questions/2180465/can-domain-name-subdomains-have-an-underscore-in-it
目前在ruby1.9的版本中发现此bug,使用最新的版本ruby2.3.0则没有此问题,说明在高版本的ruby中 已经修复了此问题,但是logstash最新的版本绑定的jruby版本是1.9的ruby,所以还存在此问题,只能在使用时避免,真是血泪教训,花费了大半天时间趟的坑。
- Python学习教程 (六)
- TP-Link网络摄像机的多个漏洞详细分析
- 彻底搞清楚 RxJava 是什么东西
- 走近科学:Android系统ROOT后有多脆弱?
- JNI动态注册native方法及JNI数据使用
- VectorDrawable与AnimatedVectorDrawable
- Cytoscape教程(一)
- XSS编码剖析
- window环境下搭建react native及相关插件
- React Native ios开发第一课
- Pandas使用 (一)
- 火眼(FireEye)实验室FLARE IDA Pro脚本系列:MSDN注释插件
- 上传高通量测序原始文件
- 超能教程 十分钟学会 Python!
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Task 编程中的异常处理
- AngularJS 中的 factory、 service 和 provider
- 设计模式之适配器模式
- 设计模式之组合模式
- MvvmCross 框架中的数据绑定语法
- Vivado IP核锁定的解除方法
- Flutter Dojo设计之道——骚气的闪屏动画是如何实现的
- 数据处理 | pandas入门专题——离散化与one-hot
- 聊聊dubbo-go的failfastCluster
- 一分钟学Python|Python的循环语句
- OpenCV4.4 中SIFT特征匹配调用演示
- 这些Python库虽然冷门,但功能真的很强大!
- SQL查找是否"存在",别再count了,很耗费时间的
- 采用 Vue 编写的功能强大的 Swagger-ui 页面
- SQL 计算中位数