centos下部署redis服务环境的操作记录

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、 list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原 子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的 把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

先简单说说redi和mysql的一些区别：

redis和mysql要根据具体业务场景去选型
   
mysql：数据放在磁盘   redis：数据放在内存
redis适合放一些频繁使用，比较热的数据，因为是放在内存中，读写速度都非常快

首先要知道mysql存储在磁盘里，redis存储在内存里，redis既可以用来做持久存储，也可以做缓存，而目前大多数公司的存储都是mysql + redis，其中：
mysql作为主存储，redis作为辅助存储被用作缓存，加快访问读取的速度，提高性能。

那么为什么不直接全部用redis存储呢？
因为redis存储在内存中，如果存储在内存中，存储容量肯定要比磁盘少很多，那么要存储大量数据，只能花更多的钱去购买内存，造成在一些不需要高性能的地方是相对比较浪费的，所以目前基本都是mysql(主) + redis(辅)，在需要性能的地方使用redis，在不需要高性能的地方使用mysql，好钢用在刀刃上
1）mysql支持sql查询，可以实现一些关联的查询以及统计；
2）redis对内存要求比较高，在有限的条件下不能把所有数据都放在redis；
3）mysql偏向于存数据，redis偏向于快速取数据，但redis查询复杂的表关系时不如mysql，所以可以把热门的数据放redis，mysql存基本数据

下面记录下redis服务安装过程： 安装依赖软件 [root@dev src]# yum install gcc-c++ tcl

下载并安装redis（百度云盘下载地址：https://pan.baidu.com/s/1bAxZzC    提取密码:ngsc）（redis官网下载最新版：https://redis.io/） [root@dev src]# wget http://download.redis.io/redis-stable.tar.gz [root@dev src]# tar xvzf redis-stable.tar.gz [root@dev src]# cd redis-stable [root@dev redis-stable]# make -------------------------------------------------------------------------- 如果编译安装过程中，出现报错： zmalloc.h:51:31: error: jemalloc/jemalloc.h: No such file or directory

原因：一些编译依赖或原来编译遗留出现的问题 解决方案：make distclean。清理一下，然后再make。 -------------------------------------------------------------------------

在make成功以后，会在src目录下多出一些可执行文件：redis-server，redis-cli等等。 [root@dev redis-stable]# cd ./src [root@dev src]# cp redis-server redis-cli redis-check-aof redis-check-rdb redis-sentinel redis-trib.rb /usr/local/bin/

然后新建目录，存放配置文件 [root@dev src]# mkdir /etc/redis [root@dev src]# mkdir /var/redis [root@dev src]# mkdir /var/redis/log [root@dev src]# mkdir /var/redis/run [root@dev src]# mkdir /var/redis/redis

在redis解压根目录中找到配置文件模板，复制到如下位置。 [root@dev src]# cd ../ [root@dev redis-stable]# cp redis.conf /etc/redis/redis.conf

修改redis.conf配置文件 [root@dev redis-stable]# vim /etc/redis/redis.conf ....... port 6379 ....... daemonize yes ....... pidfile /var/redis/run/redis_6379.pid ....... logfile /var/redis/log/redis_6379.log ....... dir /var/redis/redis                  //工作目录，dump文件所在目录

--------------------------------------------------------------------------------------------------------------------------------- redis默认的持久化方式是RDB，数据写入到dump文件中。如果要启用AOF持久化，就在redis.conf文件中配置如下： appendonly yes         #启用AOF持久化方式 appendfilename "appendonly.aof"       #AOF文件的名称，默认为appendonly.aof # appendfsync always        #每次收到写命令就立即强制写入磁盘，是最有保证的完全的持久化，但速度也是最慢的，一般不推荐使用。 appendfsync everysec        #每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，是受推荐的方式。 # appendfsync no         #完全依赖OS的写入，一般为30秒左右一次，性能最好但是持久化最没有保证，不被推荐。 ---------------------------------------------------------------------------------------------------------------------------------

启动redis服务 [root@dev redis-stable]# redis-server /etc/redis/redis.conf [root@dev redis-stable]# ps -ef|grep redis root 3795 1 0 15:33 ? 00:00:00 redis-server 127.0.0.1:6379 root 3799 31415 0 15:33 pts/1 00:00:00 grep --color redis [root@dev redis-stable]# lsof -i:6379 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME redis-ser 3795 root 4u IPv4 58627495 0t0 TCP localhost:6379 (LISTEN)

设置开机启动 [root@dev ~]# echo "/usr/local/bin/redis-server /etc/redis/redis.conf" >> /etc/rc.local

关闭redis服务 [root@dev ~]# redis-cli shutdown //默认是6379端口 如果端口变化可以指定端口 [root@dev ~]# redis-cli -p 6379 shutdown

------------------------------------------------------------------------------------------------------------ 还可以通过如下方法，设置redis服务启动脚本及开机自启动 将redis解压包下utils下redis启动脚本redis_init_script拷贝至/etc/init.d/，并修改脚本名称(也可不修改)为redis [root@dev ~]# cp /usr/local/src/redis-stable/utils/redis_init_script /etc/init.d/redis [root@dev ~]# chmod +x /etc/init.d/redis

修改脚本pid及conf路径为实际路径 [root@dev ~]# vim /etc/init.d/redis ...... REDISPORT=6379 EXEC=/usr/local/bin/redis-server CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_6379.pid CONF="/etc/redis/redis.conf" ......

这样，就可以直接用下面的命令关闭和启动redis服务了 [root@dev ~]# /etc/init.d/redis stop Stopping ... Redis stopped [root@dev ~]# lsof -i:6379 [root@dev ~]# /etc/init.d/redis start Starting Redis server... [root@dev ~]# lsof -i:6379 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME redis-ser 9372 root 4u IPv4 58648940 0t0 TCP localhost:6379 (LISTEN)

设置自启动 [root@dev ~]# chkconfig redis on redis 服务不支持 chkconfig

这是因为没有在启动脚本/etc/init.d/redis里加入redis启动优先级信息，可添加如下红色字体的两行: [root@dev ~]# vim /etc/init.d/redis #!/bin/sh # # chkconfig: 2345 90 10     //注意:后面的英文空格 # description: Redis is a persistent key-value database //注意:后面的英文空格

# Simple Redis init.d script conceived to work on Linux systems # as it does use of the /proc filesystem. REDISPORT=6379 EXEC=/usr/local/bin/redis-server CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_6379.pid CONF="/etc/redis/redis.conf" .......

[root@dev ~]# chkconfig redis on [root@dev ~]# chkconfig --list|grep redis redis 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 ------------------------------------------------------------------------------------------------------------

初始化Redis的密码 有以下2个步骤： 1）在配置文件中有个参数： requirepass 这个就是配置redis访问密码的参数。 比如 requirepass test123 2）配置文件中参数生效需要重启重启redis 。 重启redis服务后，发现使用redis-cli -p 6379的无密码方式仍能登录redis，只是登录进去后不能做任何操作。 需要用密码登录redis-cli -p 6379 -a test123后，才能正常操作

那么不重启redis的情况下如何配置密码？ 1）在配置文件中配置requirepass的密码（当redis重启时密码依然有效）。 # requirepass foobared 比如修改成: requirepass test123 2）进入redis重定义参数 查看当前的密码： [root@slaver251 redis-2.4.16]# redis-cli -p 6379 redis 127.0.0.1:6379> redis 127.0.0.1:6379> config get requirepass 1) "requirepass" 2) "" 127.0.0.1:6379> 显示密码是空的， 然后设置密码： redis 127.0.0.1:6379> config set requirepass test123 OK 再次查询密码： redis 127.0.0.1:6379> config get requirepass (error) ERR operation not permitted 此时报错了！ 现在只需要密码认证就可以了。 redis 127.0.0.1:6379> auth test123 OK 再次查询密码： redis 127.0.0.1:6379> config get requirepass 1) "requirepass" 2) "test123" 密码已经得到修改。 当到了可以重启redis的时候，由于配置参数已经修改，所以密码会自动生效。 要是配置参数没添加密码，那么redis重启，密码将相当于没有设置。 ----------------------------------------------------------------------------------------------------------------------------

masterauth是当master节点设置了密码保护时，slav服务连接master的密码，这个是在slave节点配置的。 1）如果master节点不设置密码（即不设置requirepass密码），那么slave节点在配置同步的时候，只需配置： #slaveof master的ip 端口 slaveof 192.168.1.150 6379　 2）如果master节点配置了requirepass密码，那么slave就需要配置masterauth密码来连接master。 比如： master :

     port 6379 requirepass redis slave1 :     port 6479     slaveof 192.168.1.150 6379   masterauth redis //注意，这个是连接master节点，同步数据用的密码 requirepass redis //这个是slave节点上登录自己的redis用的密码 ------------------------------------------------------------------------------------------------------------------------------

slave端的相关配置 slave-read-only yes     #从2.6版本开始支持只读的slave，默认是yes的 masterauth <master-password> #如果master配置了requirepass设置密码，slave需要配置连接master的密码 slave-serve-stale-data yes    #当slave与master断开或者复制正在进行的时候是否继续提供服务，默认是yes继续服务，可以配置为no返回错误提示“SYNC with master in progress”(除了INFO和SLAVEOF命令) repl-ping-slave-period 10 #slave发送心跳的间隔时间，默认是10秒

master端的相关配置 repl-diskless-sync no     #是否使用无盘复制 Diskless replication，默认是no repl-diskless-sync-delay 5   #无盘复制延时开始秒数，默认是5秒，意思是当PSYNC触发的时候，master延时多少秒开始向master传送数据流，以便等待更多的slave连接可以同时传送数据流，因为一旦PSYNC开始后，如果有新的slave连接master，只能等待下次PSYNC。可以配置为0取消等待，立即开始 repl-backlog-size 1mb   #复制流的内存缓冲区大小，用于增量同步，当master-slave断开的时候，master保存在复制流内存缓冲区的数据大小限制，默认是1mb。如果至少有1个slave连接的话，就会释放 repl-backlog-ttl 3600   #复制流的内存缓冲区过时时间，默认3600秒，就是说无论保存在复制流内存缓冲区的数据大小是否超过限制，当master-slave断开超过上述时间就会释放 min-slaves-to-write 3    #从2.8版本开始，可以配置与master连接的slave的最少数量，默认是0没有限制，如果配置>0，需要结合下面的选项一起使用，只有同时满足这2个选项，master才能接收写操作 min-slaves-max-lag 10 #允许master-slave的心跳最大间隔，默认是10秒，需要结合min-slaves-to-write选项一起使用

复制+持久化的数据完整性考虑 如果master配置了slave，那么强烈建议master启用持久化。因为当master重启的时候，如果没有启用持久化，数据会全部丢失，而且当slave重新连接master的时候，slave原有的数据也会被清空。如果真的要配置不启用持久化，最好不要设置自动启动master，除非数据全部丢失对你来说不重要。 -----------------------------------------------------------------------------------------------------------------------

下面是对redis.conf文件配置解释：

1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
    daemonize no
2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
    pidfile /var/run/redis.pid
3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字
    port 6379
4. 绑定的主机地址。说明只能redis-cli连接本机redis的时候只能通过这个ip连接。
    bind 127.0.0.1
5.当 客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能
    timeout 300
6. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose
    loglevel verbose
7. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null
    logfile stdout
8. 设置数据库的数量，默认数据库为0，可以使用SELECT <dbid>命令在连接上指定数据库id
    databases 16
9. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合
    save <seconds> <changes>
    Redis默认配置文件中提供了三个条件（打开这三行的上面一行的注释，即 save "" 这个注释去掉就表示关闭snapshot快照功能；）：
    save 900 1
    save 300 10
    save 60 10000
    分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。
10. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大
    rdbcompression yes
11. 指定本地数据库文件名，默认值为dump.rdb
    dbfilename dump.rdb
12. 指定本地数据库存放目录
    dir ./
13. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
    slaveof <masterip> <masterport>
14. 当master服务设置了密码保护时，slav服务连接master的密码
    masterauth <master-password>
15. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭
    requirepass foobared
16. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
    maxclients 128
17. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
    maxmemory <bytes>
18. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no
    appendonly no
19. 指定更新日志文件名，默认为appendonly.aof
appendfilename appendonly.aof
20. 指定更新日志条件，共有3个可选值： 
    appendfsync no：表示等操作系统进行数据缓存同步到磁盘。完全依赖OS的写入，一般为30秒左右一次，性能最好但是持久化最没有保证，不被推荐。（快） 
    appendfsync always：#每次收到写命令就立即强制写入磁盘，是最有保证的完全的持久化，但速度也是最慢的，一般不推荐使用。（慢，安全） 
    appendfsync everysec：表示每秒同步一次（折中，默认值），每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，这种fsync策略可以兼顾速度和安全性，是受推荐的方式。
    appendfsync everysec
21. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）
vm-enabled no
22. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
vm-max-memory 0
24. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值
vm-page-size 32
25. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。
vm-pages 134217728
26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4
vm-max-threads 4
27. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
    glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
    hash-max-zipmap-entries 64
    hash-max-zipmap-value 512
29. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）
    activerehashing yes
30. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件
    include /path/to/local.conf