Redis集群故障分析

背景介绍

项目早期通过三台机器搭建了Redis高可用集群，每台机器部署两个redis实例，形成三主三从节点。故障发生于一台机器宕机，导致整个Redis集群异常，最终影响网关安全认证失败，拒绝了所有交易请求。

问题分析

Redis集群异常原因： 故障机器运行了集群两个master节点，宕机后导致集群选举机制异常，不能自动进行主从切换。Redis集群高可用传送门

机器宕机原因： redis运行主要依赖内存，RDB期间会消耗大量内存，内存不足导致机器异常。

问题处理

1.手动进行redis主从切换

redis-cli -h 从节点ip端口 -p 从节点端口 -a 密码 -c cluster failover taskover

1. 异常机器重启恢复服务

3.巡检redis集群状态，检查主机存在一套redis集群两个master节点的，进行手动切换

4.集群优化，三机器三主三从优化成七机器三主四从

5.余量客户隐患消除

反思总结

通过这次线上问题看到很多不成熟地方： 1.监控机制覆盖不够全面，没监控同一台机器存在双master场景； 2.机器资源分配评估不到位，没考虑极端RDB场景； 3.高可用部署方案存在隐患，不满足官方集群最小建议模式，修改官方方案没有做详细评估；

自己从研发角度看待这个事情，对高可用底层原理、中间件熟悉度不够，除了加强原理，还要多做实操验证，另外监控覆盖不到位留下隐患。