[logstash-input-http] 插件使用详解
时间:2022-04-22
本文章向大家介绍[logstash-input-http] 插件使用详解,主要内容包括插件介绍、基本配置、参数详解、源码初探、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
插件介绍
Http插件是2.0版本才出现的新插件,1.x是没有这个插件的。这个插件可以帮助logstash接收其他主机或者本机发送的http报文。
插件的原理很简单,它自己启动了一个ruby的服务器,用于接收Http请求。然后会把host(IP地址)和header相关的信息添加到event中。
下面就看看这个插件如何使用吧!
基本配置
先看看默认的配置吧!
http {}
简单到心碎啊!其实有很多参数都是默认的... 上面的配置其实相当于:
http{
host => "0.0.0.0"
port => 8080
additional_codecs => {"application/json"=>"json"}
codec => "plain"
threads => 4
ssl => false
}
参数详解
最主要的几个参数,也是Http中常见的属性:
host
默认是0.0.0.0,即所有的地址都可以发送到本机,从而接收Http信息。
port
是http插件中服务器运行的端口号。只要发送到“本机IP”:"该端口号"
的数据都可以被http插件接收到。
additional_codecs
配置文本类型和codec的映射,如上面所示,默认配置了json文本对应使用json的codec。
codec
如果上面的映射集合中找不到文本类型对应的codec,那么会默认按照这个属性配置的codec解析。
ssl
是否开启SSL。
threads
ruby插件中服务器的启动线程,这里默认是4个。
user、password、keystore、keystore_password
这些都与http的认证有关系了,就不多说了。如果想要使用,再去参考文档吧!
源码初探
阅读插件的源码是为了更好的理解插件的使用,并且在出错的时候知道哪里出现了问题。Logstash的插件往往都有固定的书写格式,因此很容易看到插件的核心代码。
在Input插件中,主要包含两个方法:
public
def register
# register方法相当于初始化的构造方法
end # def register
# 主要的核心业务方法都在run中
def run(queue)
Stud.interval(@interval) do
# 创建事件
event = LogStash::Event.new("message" => @message, "host" => @host)
# 装饰event对象
decorate(event)
# 放入队列中
queue << event
end # loop
end # def run
下面看看http的插件内容吧!
首先看看register都做了什么吧!
def register
require "logstash/util/http_compressed_requests"
# 创建Puma服务器
@server = ::Puma::Server.new(nil) # we'll set the rack handler later
# 下面的都是跟认证相关的....
if @user && @password then
token = Base64.strict_encode64("#{@user}:#{@password.value}")
@auth_token = "Basic #{token}"
end
if @ssl
if @keystore.nil? || @keystore_password.nil?
raise(LogStash::ConfigurationError, "Settings :keystore and :keystore_password are required because :ssl is enabled.")
end
ctx = Puma::MiniSSL::Context.new
ctx.keystore = @keystore
ctx.keystore_pass = @keystore_password.value
ctx.verify_mode = case @verify_mode
when 'peer'
Puma::MiniSSL::VERIFY_PEER
when 'force_peer'
Puma::MiniSSL::VERIFY_PEER | Puma::MiniSSL::VERIFY_FAIL_IF_NO_PEER_CERT
when 'none'
Puma::MiniSSL::VERIFY_NONE
end
@server.add_ssl_listener(@host, @port, ctx)
else
@server.add_tcp_listener(@host, @port)
end
# 设置线程的数量
@server.min_threads = 0
@server.max_threads = @threads
@codecs = Hash.new
# 创建文本类型对应的codecs映射
@additional_codecs.each do |content_type, codec|
@codecs[content_type] = LogStash::Plugin.lookup("codec", codec).new
end
end # def register
可以简单的把上面的代码归纳为:
- 1 创建Puma服务器,Puma是一款ruby的高性能服务器。
- 2 进行用户身份和密码的验证授权
- 3 设置基本的线程信息
- 4 创建codecs映射
再看看run方法
def run(queue)
p = Proc.new do |req|
begin
remote_host = req['puma.socket'].peeraddr[3]
REJECTED_HEADERS.each {|k| req.delete(k) }
req = lowercase_keys(req)
body = req.delete("rack.input")
# 这里使用相应的codec解析对应的Body信息
@codecs.fetch(req["content_type"], @codec).decode(body.read) do |event|
# 这里遍历每个事件,然后添加host和headers信息
event["host"] = remote_host
event["headers"] = req
decorate(event)
queue << event
end
# 如果正常处理,则返回ok
['200', @response_headers, ['ok']]
rescue => e
@logger.error("unable to process event #{req.inspect}. exception => #{e.inspect}")
['500', @response_headers, ['internal error']]
end
end
auth = Proc.new do |username, password|
username == @user && password == @password.value
end if (@user && @password)
@server.app = Rack::Builder.new do
use(Rack::Auth::Basic, &auth) if auth
use CompressedRequests
run(p)
end
@server.run.join
end
private
def lowercase_keys(hash)
new_hash = {}
hash.each_pair do |k,v|
new_hash[k.downcase] = v
end
new_hash
end
看了上面的代码,基本对http的原理有了一定了解吧!
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- rbind的坑?
- 全文检索工具Lucene入门教程
- 数据库技术:数据库连接池,Commons DbUtils,批处理,元数据
- elasticsearch-快速入门
- 数据库技术:JDBC,预处理对象,事务控制
- elasticsearch-DSL高级查询语法
- 数据库技术:XML
- 利用logstash将mysql多表数据增量同步到es
- 纯CSS实现自定义单选框和复选框
- 基于Linux安装Mysql5.7
- 纯CSS实现iOS风格打开关闭选择框
- 算法基础:递归
- ELK日志收集原理+es集群+elk搭建+本地目录文件读取,搭建分布式日志收集系统
- 什么是JavaScript 的闭包???
- es集群+elk搭建+kafka搭建分布式日志收集系统