01 . Memcached原理,主从复制,代理,管理后台

# 分为服务器和客户端两部分
# 1. 服务端: memcached
# 2. 客户端: memcache

# 1. C/S模式架构: 由C语言编写，总共2000多行代码。
# 				 协议简单: 使用的是基于文本行的协议，能通过telnet/nc直接操作Memcached服务存取数据.

# 2. 支持epoll/queue异步I/O模型: 使用libevent作为事件处理通知机制.

# 3. Key/Value键值对数据类型

# 4. 纯内存缓存，效率高

# 5. 支持分布式集群

# 6. 多进程

# 例如：京东的商品分类，就可以事先放在Memcached里，然后在对外提供数据访问，这个被称之为“数据预热”

# 热点缓存一般是用于由用户更新的商品，例如淘宝的卖家，当卖家新增商品后，淘宝网的程序就会把商品写入数据库，然后读取写入的数据，把这部分数据，放入 Memcached中，下一次访问这个商品的请求直接从Memcached中取走了。

# 需要被缓存的数据以key/value键值对的形式保存在服务器端预分配的内存区中，每个被缓存的数据都有唯一的标识key，操作Memcached中的数据就是通过这个唯一标识的key进行的。

# Memcached采用了如下机制:
# 1. 采用slab内存分配机制
# 2. 采用LRU对象清除机制
# 3. 采用hash机制快速检索item

# 小结
# 1. Memcached早期内存管理机制为malloc(动态内存分配)
# 2. lab内存分配机制可以解决内存碎片的问题
# 3. Memcached服务的内存预先分割成特定长度的内存块，称为chunk，用于缓存数据的内存空间或内存块，相当于磁盘的block，只不过磁盘的每一个block都是相等的，而chunk只有在同一个Slab Class内才是相等的。
# 4. Slab Class指特定大小（1MB）的包含多个chunk的集合或组，一个Memcached包含多个Slab Class，每个Slab Class包含多个相同大小的chunk。
# 5. Slab机制缺点：  例如,Chunk空间会有浪费(通过调优因子以及大小接近的数据放入一个MC实例)

# 不主动检测item对象是否过期，而是在get时才会检查item对象是否过期以及是否应该删除。
# 当删除item对象时，一般不释放内存空间，而是做删除标记，将指针放入slot回收插槽，下次分配的时候可以直接使用。
# 当内存空间满的时候，将会根据LRU算法把最近最少使用的item对象删除。
# 数据存入可以设定过期时间，但是数据过期后不会被立即删除，而是在get时检查item对象是否过期以及是否应该删除。
# 如果不希望系统使用LRU算法清除数据，可以用使用-M参数。

# 用户名 memcached
# 用户组 memcached
# 端口 11211

# 源码包
/root/memcached-1.5.9.tar.gz

# 解压后源码
/root/memcached-1.5.9

# 编译目录
/root/

# 安装目录
/usr/local/memcached

# 工作目录
/var/sites/memcached

[root@memcached-1 ~]# cat /etc/redhat-release 
CentOS Linux release 7.3.1611 (Core) 
[root@memcached-1 ~]# uname -r
3.10.0-514.el7.x86_64

# 安装libevent依赖和gcc编译工具
yum -y install libevent libevent-devel gcc

groupadd memcached;
useradd -s /sbin/nologin -d /dev/null -M -g memcached memcached;

wget -O ./memcached-1.5.9.tar.gz http://www.memcached.org/files/memcached-1.5.9.tar.gz
tar xvf memcached-1.5.9.tar.gz
cd memcached-1.5.9
./configure --prefix=/usr/local/memcached --prefix=/usr/local/memcahced/
make && make install 

mkdir -p /var/sites/memcached-1.5.9/etc/
cp /root/memcached-1.5.9/scripts/memcached.sysconfig /var/sites/memcached-1.5.9/memcached

cat /var/sites/memcached-1.5.9/memcached |sed -e "s/#.*/ /g" |uniq |awk '{if (length !=0) print $0}'
 
USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
OPTIONS="127.0.0.1"
PORT="11211"

/usr/local/memcahced/bin/memcached -m 16m -p 11211 -d -u memcached -c 8192

# 验证启动结果
ps -ef |grep memcahced
memcach+  14967      1  0 15:27 ?        00:00:00 /usr/local/memcahced/bin/memcached -m 16m -p 11211 -d -u memcached -c 8192
            
# 启动多实例Memcached
/usr/local/memcahced/bin/memcached -m 16m -p 11212 -d -u memcached -c 8192

# 启动多实例Memcached指定PID文件
memcached -m 16m -p 11211 -d -u root -c 8192 -P /var/run/11211.pid
# 此时我们可以通过kill 命令指定pid文件关闭Memcached
kill `cat /var/run/11211.pid`

tail -2 /etc/rc.local
memcached -m 16m -p 11211 -d -u root -c 8192
memcached -m 16m -p 11212 -d -u root -c 8192

# 关闭可以用killall ,pkill

#进程与连接设置：
-d	以守护进程（daemon）方式运行服务
-u	指定运行Memcached的用户，如果当前用户为root，需要使用此参数指定用户
-l	指定Memcached进程监听的服务器IP地址，可以不设置此参数, 如果服务器有多块网卡,可用-l指定监听的某个网卡上.

-p（小写）指定Memcached服务监听TCP端口号。默认为11211
-P（大写）设置保存Memcached的pid文件（$$）,保存PID到指定文件

#内存相关设置：
-m	# 指定Memcached服务可以缓存数据的最大内存，默认为64MB
-M	# Memcached服务内存不够时禁止LRU，如果内存满了会报错
-n	# 为key+value——flags分配的最小内存空间，默认为48字节
-f	# chunk size增长因子，默认为1.25
-L	# 启用大内存页，可以降低内存浪费，改进性能,视图使用最多的内存空间

#并发连接设置：
-c	# 最大的并发连接数，默认是1024
-t	
# 线程数，默认4.由于Memcached采用的是NIO，所以太多线程作用不大,
# 一般用于处理入站请求的最大线程数,仅在memcached编译时开启了支持线程才有效，
# 而linux对线程支持是非常有限的，所以不用关心了

-s # 如果只在本地通信那么可以将其监听在某个套接字上，比如mysql.scok 能够利用共享内存方式进行通信的
-S # 启用SSL认证功能

-r  # 设定最大内核大小限制
-R	# 每个event最大请求数，默认是20
-C	# 禁用CAS（可以禁止版本计数，减少开销）

#测试参数：
-v		打印较少的errors/warnings
-vv	打印非常多调试信息和错误输出到控制台
-vvv	打印极多的调试信息和错误输出，也打印内部状态转变

#其他选项可通过在命令行输入“memcached -h”命令来显示

yum -y install nc telnet

# 向memcached写入数据
printf "set key1 0 0 5rnzhou1rn" | nc 127.0.0.1 11211

# replace 更新数据
printf "replace  key1 0 0 7rnxmhrn" | nc 127.0.0.1 11211 


# 配合printf配置nc从Memcached中读取数据
printf "get key1rn" | nc 127.0.0.1 11211

# 通过printf配合nc从Memcached中删除数据
printf "delete key1rn" | nc 127.0.0.1 11211

telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set user01 0 0 6  #写入数据，创建key，长度等
youmen #数据长度要和value一致
STORED
get user01    #浏览数据
VALUE user01 0 7
jason12
END
delete user01  #删除数据，删除的是key
DELETED
get user01   #再次浏览数据，数据被删除       
END
quit       #quit退出
Connection closed by foreign host.

# 1. set 		设置数据
# 2. get 		获取数据
# 3. delete		删除数据
# 4. replace	更新数据

# 操作Memcached 相关命令语法
             set                 key1         0            0              6                rn          benet        rn
<command name><key><flags><exptime><bytes><datablock><string><datablock>

command             # 命令参数（set、get、delete、replace）
key                 # key 用于查找缓存值，要求小于250字符，不包含空格和控制字段
flags               #  用户端用来表示数据格式数值，如json、xml、压缩等
exptime             # 在缓存中保存键值对的时间长度（以秒为单位，0 表示永远）
bytes               # 在缓存中存储的字节数
datablock    		# 文本行，以rn结尾
string              # 键值对应的缓存内容

cd /root/memcached-1.5.9
cp /root/memcached-1.5.9/scripts/memcached-tool /usr/local/memcahced/bin/

# 根据上面的说法，Memcached其中一个节点失效以后，memcached本身是没有任何策略维持失效转发的，这对于大型系统是一个无法接受的事实

# Magent代理服务器：2台，分别为 192.168.1.2:12000、192.168.1.3:12000

# Memcached主服务器：3台，分别为 192.168.1.4:11211、192.168.1.5:11211、192.168.1.6:11211 

# Memcached备服务器：2台，分别为 192.168.1.5:11211、192.168.1.6:11211

# magent+keepalived+memcached+repcache
# 1）magent：代理memcached实现负载均衡
# 2）keepalived：magent主从HA高可用
# 3）memcached：缓存对象
# 4）repcache：实现memcached单点恢复数据同步

# 安装libevent库
wget https://github.com/libevent/libevent/releases/download/release-2.1.8-stable/libevent-2.1.8-stable.tar.gz
tar -zxvf libevent-2.1.8-stable.tar.gz
cd libevent-2.1.8-stable
./configure
make && make install

ls -la /usr/local/lib |grep libevent-
lrwxrwxrwx.  1 root root      21 Jun 11 20:03 libevent-2.1.so.6 -> libevent-2.1.so.6.0.2
-rwxr-xr-x.  1 root root 1325520 Jun 11 20:03 libevent-2.1.so.6.0.2
lrwxrwxrwx.  1 root root      21 Jun 11 20:03 libevent.so -> libevent-2.1.so.6.0.2


# memcached下载地址
http://memcached.org/files/old/memcached-1.4.13.tar.gz

# memcached-repcached补丁下载地址
http://mdounin.ru/files/repcached-2.3.1-1.4.13.patch.gz

tar zxvf memcached-1.4.13.tar.gz
gzip -d repcached-2.3.1-1.4.13.patch.gz
cd memcached-1.4.13/
./configure --prefix=/usr/local/memcached-1.4.13

yum -y install patch
patch -p1 -i ../repcached-2.3.1-1.4.13.patch         ＃在memcached打repcached补丁
./configure --prefix=/usr/local/memcached-1.4 -enable-replication --enable-64bit
make && make install


# 添加memcached启动用户
groupadd memcache
useradd memcache -g memcache -M

# 设置环境变量
vi /etc/profile.d/memcache.sh
MEMCACHE_HOME=/usr/local/memcached-1.4
export PATH=$MEMCACHE_HOME/bin:$PATH
source /etc/profile.d/memcache.sh

# 创建memcached的pid文件存放目录
mkdir /var/run/memcached
chown memcache:memcache /var/run/memcached

# 测试repcached是否安装
ln -s /usr/local/lib/libevent-2.1.so.6 /usr/lib64/libevent-2.1.so.6
memcached -h

# magent下载地址
https://code.google.com/archive/p/memagent/downloads
yum install -y glibc glibc-devel
cp /usr/lib64/libm.so /usr/lib64/libm.a
ln -s /usr/local/lib/libevent*  /usr/lib64/

# 编译生成magent文件
mkdir magent-0.6
tar -zxvf magent-0.6.tar.gz -C magent-0.6
cd magent-0.6

vi Makefile
将
CFLAGS = -Wall -g -O2 -I/usr/local/include $(M64)
改为
CFLAGS = -lrt -Wall -g -O2 -I/usr/local/include $(M64)


vi magent.c      		#在43行前加入
#ifndef SSIZE_MAX  
#define SSIZE_MAX 32767  
#endif

/sbin/ldconfig 
sed -i "s#LIBS = -levent#LIBS = -levent -lm#g" Makefile
make
生成magent文件
cp magent /usr/local/bin/

magent 
# please provide -s "ip:port" argument
# memcached agent v0.6 Build-Date: Jun 11 2020 21:59:26

memcached -v -l 192.168.43.159 -p 11211 -umemcache
replication: listen
replication: accept

memcached -v -l 192.168.43.154 -p 11213 -umemcache -x 192.168.43.159 -X 11212
replication: connect (peer=192.168.43.159:11212)
replication: marugoto copying
replication: start

# 测试
[root@memcached-109 ~]# telnet 192.168.43.154 11213
Trying 192.168.43.154...
Connected to 192.168.43.154.
Escape character is '^]'.
set user01 0 0 7
youmen2
STORED
get user01
VALUE user01 0 7
youmen2
END
quit
Connection closed by foreign host.
[root@memcached-109 ~]# telnet 192.168.43.159 11211
Trying 192.168.43.159...
Connected to 192.168.43.159.
Escape character is '^]'.
get user01
VALUE user01 0 7
youmen2
END

magent -u memcache -n 51200 -p 11200 -s 192.168.100.3:11211 -b 192.168.100.4:11211
# magent启动时的参数:
# -u 以的身份运行
# -n 最大同时连接数，默认是4096
# -p 监听的端口，默认11211
# -s master memcached ip and port
# -b backup memcached ip and port
# -l 连接的IP地址, 默认是0.0.0.0
# 注：如果有多个master可写成magent -u memcache -n 51200 -p 11200 -s｛mastar ip}:port -s｛mastar ip}:port -b｛backup ip}:port



# 测试
[root@memcached-117 ~]# telnet 192.168.43.209 12000
Trying 192.168.43.209...
Connected to 192.168.43.209.
Escape character is '^]'.
set user01 0 0 7
youmen1
STORED
set user02 0 0 8
youmen10

magent工作方式
# 1.get操作，先到普通mem上读取；如果失败，再到备份mem上读取(即服务器失效会导致两次读，不过只是特殊情况下的处理，可以接受)
# 2.如果一次get多个key的值，会逐个执行1中的步骤
# 3.delete,incr,decr,add,set,replace,prepend,append,cas，同时操作{普通mem,备份mem}

# 写操作：先操作备份men，再操作普通mem
# 不关联两者之间操作的成功/失败

# 4.client从magent上断开，不影响magent保持与集群server的链接
# 5.建议：client和magent部署在一起，client通过127.0.0.1访问magent时，效率会更高

# 服务器参数监控：STATS、SETTINGS、ITEMS、SLABS、SIZES实时刷新
# 服务器性能监控：GET、DELETE、INCR、DECR、CAS等常用操作命中率实时监控
# 支持数据遍历，方便对存储内容进行监视
# 支持条件查询，筛选出满足条件的KEY或VALUE
# 数组、JSON等序列化字符反序列显示
# 兼容memcache协议的其他服务，如Tokyo Tyrant (遍历功能除外)
# 支持服务器连接池，多服务器管理切换方便简洁

yum -y install wget gcc gcc-c++ make php php-devel httpd libevent libevent-devel zlib-devel 


# 下载memadmin
http://www.junopen.com/memadmin
# memcache安装请看上面

tar xvf memcache-3.0.8.tgz 
cd memcache-3.0.8

phpize

./configure --enable-memcache --with-php-config=/usr/bin/php-config --with-zlib-dir 

# 由于是yum安装的php，可以使用which or find / -name php-config 查找php-config文件的位置

make && make install

vim /etc/php.ini 
extension_dir = "/usr/lib64/php/modules/"
; On windows:
extension = "memcache.so"
  
php -m
# 在列表中应该有memcache

tar xvf memadmin-1.0.12.tar.gz 
mv memadmin/* /var/www/html/
cat /var/www/html/config.php |head -5
<?php
if (!defined('IN_MADM')) exit();

$config['user'] = "admin"; // your username
$config['passwd'] = "admin"; // your password

# 默认密码是以上,可以自己修改

# 启动httpd
systemctl start httpd