手把手带你搭建redis集群

redis-cluster是redis官方提供的分布式数据库解决方案，集群通过分片进行数据共享，并提供复制和故障转移功能。

redis集群主要分为主节点和从节点。主节点用于处理槽，而从节点用于复制某个主节点，并在被复制的主节点下线时，代替主节点继续处理命令请求。

Redis分区规则

redis cluster 采用虚拟槽分区，所有的键根据哈希函数映射到0-16383整数槽内，每一个节点负责维护一部分槽以及槽所映射的键值数据。槽是集群内数据管理和迁移的基本单位。

redis虚拟槽分区的特点：

解耦数据与节点之间的关系，简化了节点扩容和收缩难度。
节点自身维护槽的映射关系，无需客户端维护槽分区元数据。
支持节点、槽、键之间的映射查询，用于数据路由、在线伸缩等场景。
当数据库中的16384个槽都有节点在处理时，集群处于上线状态，否则集群处于下线状态。

集群搭建

redis集群节点数量至少为6个才能保证组成完整的高可用集群，我们在一台服务器上启动6个redis进程来模拟3主3从的redis集群。

1. 节点配置

集群模式需要开启cluster-enabled yes参数，使其在集群模式下运行。集群相关配置如下：

#端口
port 6379
#开启集群模式
cluster-enabled yes
#集群内部配置文件
cluster-config-file "/data/6379-cluster/nodes-6379.conf"
#节点超时时间，单位毫秒
cluster-node-timeout 15000
#本地数据库存放目录
dir "/data/6379-cluster/6379-cluster"
#日志输出的路径及文件名称
logfile "/data/6379-cluster/log/redis_6379-cluster.log"

配置完之后复制配置文件，复制多份，并且修改配置文件中的端口、数据库存放路径、log路径等参数。

cp redis_6379.conf redis_6380.conf 
cp redis_6379.conf redis_6381.conf 
cp redis_6379.conf redis_6382.conf 
cp redis_6379.conf redis_6383.conf 
cp redis_6379.conf redis_6384.conf

2. 分别启动redis服务进程

redis-server redis_6379.conf 
redis-server redis_6380.conf 
redis-server redis_6381.conf 
redis-server redis_6382.conf 
redis-server redis_6383.conf 
redis-server redis_6384.conf

3. 节点握手

节点握手是指一批运行在集群模式下的节点通过Gossip协议彼此通讯，到达互相感知的过程。握手命令：cluster meet {IP} {PORT}

127.0.0.1:6379> cluster meet 127.0.0.1 6380
127.0.0.1:6379> cluster meet 127.0.0.1 6381
127.0.0.1:6379> cluster meet 127.0.0.1 6382
127.0.0.1:6379> cluster meet 127.0.0.1 6383
127.0.0.1:6379> cluster meet 127.0.0.1 6384

4. 查看当前集群组件情况

127.0.0.1:6379> cluster nodes
a0b3d847f634588eeaad7e1dea844a1371bb3bd2 127.0.0.1:6380@16380 master - 0 1596595676362 1 connected
2b06b51b6453cd75e8ca24687668f6caf9f51bb2 127.0.0.1:6381@16381 master - 0 1596595674320 2 connected
c2f93c56c33cd4532effb92f8cb4d578fbfdb6f5 127.0.0.1:6384@16384 master - 0 1596595675000 4 connected
c0c09a5689f7b5eb3c1e4621cc048c7863605c61 127.0.0.1:6382@16382 master - 0 1596595674000 3 connected
67a80941bef448769a3777018c00360f05bc030c 127.0.0.1:6383@16383 master - 0 1596595675344 5 connected
de08278d07ef9c2e5f863614c45352f1deb04797 127.0.0.1:6379@16379 myself,master - 0 1596595674000 0 connected

5. 查看集群状态

现在的集群状态还是fail，是因为集群还没有完成槽到节点的映射。

127.0.0.1:6379> cluster info
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:0
cluster_current_epoch:5
cluster_my_epoch:0
cluster_stats_messages_ping_sent:626
cluster_stats_messages_pong_sent:386
cluster_stats_messages_meet_sent:9
cluster_stats_messages_sent:1021
cluster_stats_messages_ping_received:386
cluster_stats_messages_pong_received:341
cluster_stats_messages_received:727

6. 分配槽

redis集群需要把所有数据映射到16384个槽内，每个key会映射为一个固定的槽，只有节点分配了槽才能响应和槽关联的键命令。

[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6379 cluster addslots {0..5461}
OK
[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6381 cluster addslots {5462..10922}
OK
[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6383 cluster addslots {10923..16383}
OK

7. 加入从库

第六步我们已经为三个主节点分配了槽，接下来为三个主节点分配从节点。使用cluster replicate {nodeID}命令，命令必须在从节点执行，nodeID是主节点ID。

127.0.0.1:6380> cluster replicate de08278d07ef9c2e5f863614c45352f1deb04797
OK
127.0.0.1:6382> cluster replicate 2b06b51b6453cd75e8ca24687668f6caf9f51bb2
OK
127.0.0.1:6384> cluster replicate 67a80941bef448769a3777018c00360f05bc030c
OK

8. 查看集群状态

通过cluster info和cluster nodes命令查看集群状态和复制关系。

redis-trib.rb搭建集群

redis-trib.rb是redis官方推出的管理redis集群的工具，集成在redis的源码src目录下，是基于redis提供的集群命令封装成简单、便捷、使用的操作工具，可以实现集群的创建、检查、槽迁移和均衡等常见运维操作。

1. 环境准备

安装ruby

tar -zxvf ruby-2.6.5.tar.tar
./configure -prefix=/usr/local/ruby
make
make install
cd /usr/local/ruby/
cp bin/ruby /usr/local/bin
cp bin/gem /usr/local/bin/
#安装rubygem redis依赖
gem install -l redis-4.1.0.gem
#安装redis-trib.rb
cp /usr/local/redis/src/redis-trib.rb /usr/local/bin/

2. 创建集群

首先是修改conf配置文件以及启动redis，步骤同上一章的前两步一致，这里就先忽略，我们用redis-trib.rb创建集群。

[redis@node1 ~]$ redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384

3. check检查集群

[redis@node1 ~]$ redis-trib.rb check 127.0.0.1:6379

4. info查看集群信息

[redis@node1 ~]$ redis-trib.rb info 127.0.0.1:6379

redis-trib.rb管理集群

上面我们介绍了用redis-trib.rb如何搭建集群，现在我们来演示下如何通过redis-trib.rb管理集群。

1. 添加master节点

首先启动一个新的实例。

redis-server redis_6385.conf

将该节点加入到集群中

redis-trib.rb add-node 127.0.0.1:6385 127.0.0.1:6379

为新节点分配slot

redis-trib.rb reshard 127.0.0.1:6385
How many slots do you want to move (from 1 to 16384)? 300 //移动多少槽
What is the receiving node ID? 629c52d1a6cb53e220ad58a864a7f00acbc12831 //接收槽的节点
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots. //all代表从所有master重新分配
  Type 'done' once you entered all the source nodes IDs. //从指定节点分配槽，最后用done结束。
Source node #1:777ead5811e3da124ddfa141decfebed2d7a56b6 //源
Source node #2:done

2. 添加slave节点

前两步操作同添加master一样。

redis-cli连接上新节点，输入命令：cluster replicate对应的master的mode-id

3. 从集群中删除节点

针对于非空master，首先需要迁移slots，我么把127.0.0.1:6385迁移到127.0.0.1:6379

redis-trib.rb reshard 127.0.0.1:6379

删除空的master节点

redis-trib.rb del-node 127.0.0.1:6379 629c52d1a6cb53e220ad58a864a7f00acbc12831