干货 | Elasticsearch 运维实战常用命令清单
背景
球友反馈的实战问题:
关于es的运维相关的, 遇到一些问题!
- 第一个问题:是关于集群迁移的,目前需要 针对20亿的数据做迁移,如果文件迁移,需要停机时间太久,除了重新灌入,不知 道有没有更好的方式?
- 第二个问题:我们es集群的读写都很频繁,如何把控在相互不影响性能,当前情况是会有相互影响!
- 第三个问题:之前做版本升级,升级后部分分片不可用,但是不知道什么原因导致?
- 最后:就是关于数据的扩容,备份,高可用这方面...... 扩容其实 面对一个问题就是你之前的es mapping 如何建, 如果这个没规划好,增加节点的意义也不大了
- 另外就是面对现在集群状态黄色和红色,没有体系化的思路去排查问题到底出在哪儿?
更多的是点对点去临时解决,积累的知识是碎片化的。
的确,类似问题经常被问到,是时候整合梳理一下了。
1、集群状态非绿排查清单
1.1 集群状态的含义
- 红色:至少一个主分片未分配成功;
- 黄色:至少一个副本分片未分配成功;
- 绿色:全部主&副本都分配成功。
1.2 排查实战
1.2.1 查看集群状态
GET _cluster/health
返回状态举例:"status" : "red", 红色,至少一个主分片未分配成功。
1.2.2 到底哪个节点出现了红色或者黄色问题呢?
GET _cluster/health?level=indices
如下的方式,更明快直接
GET /_cat/indices?v&health=yellow
GET /_cat/indices?v&health=red
找到对应的索引。
1.2.3 到底索引的哪个分片出现了红色或者黄色问题呢?
GET _cluster/health?level=shards
1.2.4 到底什么原因导致了集群变成红色或者黄色呢?
GET _cluster/allocation/explain
返回核心信息解读举例:
"current_state" : "unassigned",——未分配
"unassigned_info" : {
"reason" : "INDEX_CREATED",——原因,索引创建阶段
"at" : "2020-01-29T07:32:39.041Z",
"last_allocation_status" : "no"
},
"explanation" : """node does not match index setting [index.routing.allocation.require] filters [box_type:"hot"]"""
}
根本原因,shard分片与节点过滤类型不一致 到此,找到了根本原因,也就知道了对应解决方案。
1.3 扩展思考:类似 "current_state" : "unassigned",——未分配 还有哪些?
实战:
GET _cat/shards?h=index,shard,prirep,state,unassigned.reason
官网:https://www.elastic.co/guide/en/elasticsearch/reference/7.2/cat-shards.html
未分配状态及原因解读:
(1)INDEX_CREATED
Unassigned as a result of an API creation of an index.
(2)CLUSTER_RECOVERED
Unassigned as a result of a full cluster recovery.
(3)INDEX_REOPENED
Unassigned as a result of opening a closed index.
(4)DANGLING_INDEX_IMPORTED
Unassigned as a result of importing a dangling index.
(5)NEW_INDEX_RESTORED
Unassigned as a result of restoring into a new index.
(6)EXISTING_INDEX_RESTORED
Unassigned as a result of restoring into a closed index.
(7)REPLICA_ADDED
Unassigned as a result of explicit addition of a replica.
(8)ALLOCATION_FAILED
Unassigned as a result of a failed allocation of the shard.
(9)NODE_LEFT
Unassigned as a result of the node hosting it leaving the cluster.
(10)REROUTE_CANCELLED
Unassigned as a result of explicit cancel reroute command.
(11)REINITIALIZED
When a shard moves from started back to initializing, for example, with shadow replicas.
(12)REALLOCATED_REPLICA
A better replica location is identified and causes the existing replica allocation to be cancelled.
2、节点间分片移动
适用场景:手动移动分配分片。将启动的分片从一个节点移动到另一节点。
POST /_cluster/reroute
{
"commands": [
{
"move": {
"index": "indexname",
"shard": 1,
"from_node": "nodename",
"to_node": "nodename"
}
}
]
}
3、集群节点优雅下线
适用场景:保证集群颜色绿色的前提下,将某个节点优雅下线。
PUT /_cluster/settings
{
"transient": {
"cluster.routing.allocation.exclude._ip": "122.5.3.55"
}
}
4、强制刷新
适用场景:刷新索引是确保当前仅存储在事务日志中的所有数据也永久存储在Lucene索引中。
POST /_flush
注意:这和 7.6 版本之前的同步刷新(未来8版本+会废弃同步刷新)一致。
POST /_flush/synced
5、更改并发分片的数量以平衡集群
适用场景:
控制在集群范围内允许多少并发分片重新平衡。默认值为2。
PUT /_cluster/settings
{
"transient": {
"cluster.routing.allocation.cluster_concurrent_rebalance": 2
}
}
6、更改每个节点同时恢复的分片数量
适用场景:
如果节点已从集群断开连接,则其所有分片将都变为未分配状态。经过一定的延迟后,分片将分配到其他位置。每个节点要恢复的并发分片数由该设置确定。
PUT /_cluster/settings
{
"transient": {
"cluster.routing.allocation.node_concurrent_recoveries": 6
}
}
7、调整恢复速度
适用场景:
为了避免集群过载,Elasticsearch限制了分配给恢复的速度。你可以仔细更改该设置,以使其恢复更快。
如果此值调的太高,则正在进行的恢复可能会消耗过多的带宽和其他资源,这可能会使集群不稳定。
PUT /_cluster/settings
{
"transient": {
"indices.recovery.max_bytes_per_sec": "80mb"
}
}
8、清除节点上的缓存
适用场景:如果节点达到较高的JVM值,则可以在节点级别上调用该API 以使 Elasticsearch 清理缓存。
这会降低性能,但可以使你摆脱OOM(内存不足)的困扰。
POST /_cache/clear
9、调整断路器
适用场景:为了避免在Elasticsearch中进入OOM,可以调整断路器上的设置。这将限制搜索内存,并丢弃所有估计消耗比所需级别更多的内存的搜索。
注意:这是一个非常精密的设置,你需要仔细校准。
PUT /_cluster/settings
{
"persistent": {
"indices.breaker.total.limit": "40%"
}
}
10、集群迁移
适用场景:集群数据迁移、索引数据迁移等。
方案一、 针对索引部分或者全部数据,reindex
POST _reindex
{
"source": {
"index": "my-index-000001"
},
"dest": {
"index": "my-new-index-000001"
}
}
方案二:借助第三方工具迁移索引或者集群
- elasticdump
- elasticsearch-migration
工具本质:scroll + bulk 实现。
11、集群数据备份和恢复
适用场景:高可用业务场景,定期增量、全量数据备份,以备应急不时之需。
PUT /_snapshot/my_backup/snapshot_hamlet_index?wait_for_completion=true
{
"indices": "hamlet_*",
"ignore_unavailable": true,
"include_global_state": false,
"metadata": {
"taken_by": "mingyi",
"taken_because": "backup before upgrading"
}
}
POST /_snapshot/my_backup/snapshot_hamlet_index/_restore
小结
文章开头的几个运维问题已经解决,其他性能相关的问题,后面会有另外的博文做梳理。
运维工作包罗万象,文章内容只是抛砖引玉,开了个头。
牛逼的集群运维需要结合可视化工具(如:kibana,cerebro,elastic-hd,Prometheus + grafana,结合业务自研工具如 阿里云Eyou等)能极大提高效率。
你的Elasticsearch 运维的经验、心得、体会,欢迎留言交流,我们一起完善清单。
参考:
Elasticsearch 官方文档
https://logz.io/blog/elasticsearch-cheat-sheet/
- React Native控件之ListView
- Java学习之深拷贝浅拷贝及对象拷贝的两种方式
- [周末课程]什么是“页面业务流程”分析思维导图?如何编写页面假JSON数据? &下一个前端组件“日历”
- Java并发学习之玩转线程池
- Java & PhantomJs 实现html输出图片
- 干货 | React Native实践之携程Moles框架
- Java并发学习之ThreadLocal使用及原理介绍
- ibeacon蓝牙技术简介
- Java并发学习之定时任务的几种玩法
- [视频直播]本周日先行者视频“React多级菜单
- Java并发学习之线程状态及Thread常用方法详解
- Java并发学习之四种线程创建方式的实现与对比
- Google protocol buffer简介
- Java反射的使用姿势一览
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Angular应用里child Component如何向parent Component发送事件
- 如何在SAP WebClient UI里使用jChartFX
- Go语言|基于channel实现的并发安全的字节池
- 对于hashmap的一点理解
- IntelliJ IDEA 2020.2 破解
- MATLAB批量给数据集加雾
- Vue Cli 4 引入 Cesium 配置
- R语言在不同样本量下的Littles MCAR检验
- Stata中的治疗效果:RA:回归调整、 IPW:逆概率加权、 IPWRA、 AIPW
- R语言基于协方差的SEM结构方程模型中的拟合指数
- Python贝叶斯回归分析住房负担能力数据集
- 基于R统计软件的三次样条和平滑样条模型数据拟合及预测
- R语言析因设计分析:线性模型中的对比
- R语言逻辑回归、方差分析 、伪R平方分析
- R语言逐步多元回归模型分析长鼻鱼密度影响因素