ES 脚本实现
在我的上篇文章ES 脚本介绍中介绍了ES 脚本的基本概念和使用,而本文将对其内部实现做一个分析。
本文的分析使用的ES源码为6.4.3版本。
在分析前,我们先来看一个在ES update API中使用脚本文档进行更新的例子:
POST test/_update/1
{
"script" : {
"source": "ctx._source.counter += params.count",
"lang": "painless",
"params" : {
"count" : 4
}
}
}
此API中定义了一个脚本:
- 指定painless作为脚本语言
- 指定参数count,值为4
- 指定脚本源码:"ctx._source.counter += params.count", 使文档字段
counter
的值加上参数count的值
接下来,我们从update API的入口出发,来看这个脚本最终是如何被执行的。
调用栈分析
每个Rest接口都有uri和相应的RestAction,在构造函数中被注册,对更新接口来说,其uri格式和RestAction分别是:/{index}/{type}/{id}/_update
和RestUpdateAction
请求在RestUpdateAction
的prepareRequest方法中被简单处理后,经过NodeClient
转发,最终在TransportUpdateAction
类中执行实际操作。
大部分RestAction只负责转发,实际则由相应的TransportAction处理
由于更新是单(single)操作,在TransportUpdateAction
将通过TransportInstanceSingleOperationAction
:查找请求中的文档id对应shard,再转发给拥有相应shard的node去执行,见TransportInstanceSingleOperationAction:170
行:
转发的请求最终进入TransportUpdateAction
类的shardOperation
方法。
在shardOperation方法中,执行的操作为:
- 调用updateHelper.prepare 获取要更新的文档结果
- 执行更新操作
而在第一步调用updateHelper.prepare
时,会根据更新API的请求内容,构造更新后的文档内容:
对于脚本请求,则调用prepareUpdateScriptRequest
方法处理文档。
prepareUpdateScriptRequest方法
- 构造更新脚本上下文(update Context):设置可以在脚本中访问的内置字段、变量
- 执行脚本获取执行结果
- 使用结果构造更新后的文档
executeScript方法:
- 调用 scriptService.compile(script, ExecutableScript.UPDATE_CONTEXT): 编译可执行脚本
- 调用 executableScript.run(): 运行脚本
更新脚本属于其中一种可执行脚本ExecutableScript,其它的还包括:
脚本执行框架
在单独分析更新脚本的执行后,这里我们再来剖析ES的脚本框架。
脚本interface
对于在不同类型API中执行的脚本,其执行方式也有所不同(包括返回值类型、参数等不同),ES为其都声明了相应的interface。比如上述的Update API中的脚本对应于ExecutableScript interface。
其他interface还包括:FilterScript(用于query filter)、IngestScript(用于Ingest Script Processor)、SearchScript(用于搜索、聚合等请求中的请求)等
ScriptService
在上述executeScript方法中可以看到,更新接口中的脚本是通过scriptService.compile方法编译的。实际上,所有API中的脚本、所有的脚本语言,也都是通过此方法编译的。其内部逻辑主要包括:
- 获取脚本语言对应的脚本执行引擎ScriptEngine
- 查询缓存的脚本。若不存在,则使用ScriptEngine重新编译脚本
ScriptEngine
ScriptService类内部封装了用于执行不同脚本语言的执行引擎ScriptEngine,实现类包括PainlessScriptEngine
、ExpressionScriptEngine
和MustacheScriptEngine
。
PainlessScriptEngine
这里以Painless脚本语言为例进行分析。在ScriptService中会调用相应语言ScriptEngine的compile方法,以下为PainlessScriptEngine的compile方法实现:
对于可执行脚本,其执行逻辑为:
- 编译painless脚本代码:使用ANTLR4 和 ASM 库,生成GenericElasticsearchScript对象painlessScript
- 调用GenericElasticsearchScript的execute方法将执行执行脚本,产生输出结果
- 使用可执行的脚本对象painlessScript构造ScriptImpl类(实现了SearchScript接口)对象并返回
- Java多线程高并发学习笔记——阻塞队列
- 使用javascript+xml实现分页
- 使用OAuth打造webapi认证服务供自己的客户端使用
- 洛谷P3381 【模板】最小费用最大流(dijstra费用流)
- 使用OAuth打造webapi认证服务供自己的客户端使用(二)
- JavaScript基础1
- JavaScript实例-----反选
- 1303: [CQOI2009]中位数图
- 1050: [HAOI2006]旅行comf
- 某厂2016实习招聘安全技术试题答案及解析
- 3732: Network
- 洛谷P3388 【模板】割点(割顶)(tarjan求割点)
- 每天学一点Docker(3)(制作你的第一个容器)
- 1635: [Usaco2007 Jan]Tallest Cow 最高的牛
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- TF中Placement的最后一道防线——Placer
- 搭建简易的物联网服务端和客户端-ECharts数据显示(七)
- 搭建简易的物联网服务端和客户端-整合(八)
- 搭建简易的物联网服务端和客户端-Maibu显示(九)
- 搭建简易的物联网服务端和客户端-DCloud手机端(十)
- 整理了一份 Docker系统知识,从安装到熟练操作看这篇就够
- 搭建简易的物联网服务端和客户端-第一次增补(十一)
- 搭建简易的物联网服务端和客户端-第二次增补(十二)
- 使用jest进行单元测试
- 搭建简易的物联网服务端和客户端-数据库功能增加(十三)
- 分享一个关于Cookie做的实验结果
- LeetCode20|从上到下打印二叉树
- 搭建简易的物联网服务端和客户端-微博接口(十四)
- 一键帮你生成所需代码--EasyCode试试这个工具吧
- centos7.2安装MySQL