memcached安装与应用 原
时间:2022-06-19
本文章向大家介绍memcached安装与应用
原，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。
第二十一章 Nosql
21.1Nosql介绍
什么是Nosql
- 非关系型数据库就是NoSQL，关系型数据库代表MySQL
- 对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索
- NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。
- NoSQL数据可以存储在内存里，查询速度非常快
- NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库
- NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式
常见Nosql数据库
- k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。
- 文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。
- 列存储 Hbase
- 图 Neo4J、Infinite Graph、OrientDB
21.2memcached介绍
系统环境：centos 7.x86_64
- Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。
- 官方站点 http://www.memcached.org/
- 数据结构简单(k-v)，数据存放在内存里
- 多线程
- 基于c/s架构，协议简单
- 基于libevent的事件处理
- 自主内存存储处理（slab allowcation)
- 数据过期方式：Lazy Expiration 和LRU
slab allowcation原理
- 将分配的内存分割成各种尺寸的块（chunk）， 并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。
- Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I参数来指定。
- Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。
growth factor
- Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。
- 通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25
- 命令：# memcached-tool 127.0.0.1:11211 display
memcached数据过期方式
- Lazy Expiration
- Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。
- LRU
- Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。
21.3安装memcached
官方版本：
本次实验使用系统自带版本：memcached.x86_64 1.4.15-10.el7_3.1
安装
[root@adailinux ~]# yum install -y memcached libmemcached libevent
#memcached依赖于libevent和libmemecached，如果系统没有安装这两个包，需要手动安装。启动
[root@adailinux ~]# systemctl start memcached
[root@adailinux ~]# ps aux |grep memcached
memcach+ 2363 0.7 0.2 325556 1192 ? Ssl 16:15 0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024
root 2370 0.0 0.1 112664 972 pts/0 S+ 16:15 0:00 grep --color=auto memcached
说明：
-u：表示指定用户
-p：表示监听端口
-m：表示分配的内存
-c：表示最大并发数
[root@adailinux ~]# netstat -lntp |grep memcached
tcp 0 0 0.0.0.0:11211 0.0.0.0:* LISTEN 2363/memcached
tcp6 0 0 :::11211 :::* LISTEN 2363/memcached memcached启动参数配置：
[root@adailinux ~]# vim /etc/sysconfig/memcached
PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
OPTIONS=""说明： OPTIONS可以自定义选项，可以使用“memcached -h”查看其选项。
21.4 查看memcached的状态
方法1：
[root@adailinux ~]# memcached-tool 127.0.0.1:11211 stats
方法2：（前提是安装了libmemcached包）
[root@adailinux ~]# memstat --servers=127.0.0.1:11211
方法3：
[root@adailinux ~]# telnet 127.0.0.1 11211
#连接memcached
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
stats
#查看memcached的状态
STAT pid 1277 （进程ID）
STAT uptime 176145 （服务器运行秒数,秒）
STAT time 1448592684 （服务器当前unix时间戳）
STAT version 1.4.15 （服务器版本）
STAT libevent 2.0.21-stable
STAT pointer_size 64 （操作系统字大小 32/64位）
STAT rusage_user 3.869494 （进程累计用户时间，秒）
STAT rusage_system 4.636292 （进程累计系统时间，秒）
STAT curr_connections 11 （当前打开连接数）
STAT total_connections 21 （曾打开的连接总数）
STAT connection_structures 12 （服务器分配的连接结构数）
STAT reserved_fds 20
STAT cmd_get 483 （执行get命令总数）
STAT cmd_set 144 （执行set命令总数）
STAT cmd_flush 0 （指向flush_all命令总数）
STAT cmd_touch 0
STAT get_hits 369 （get命中次数）
STAT get_misses 114 （get未命中次数）
STAT delete_misses 0 （delete未命中次数）
STAT delete_hits 0 （delete命中次数）
STAT incr_misses 0 （incr未命中次数）
STAT incr_hits 0 （incr命中次数）
STAT decr_misses 0 （decr未命中次数）
STAT decr_hits 0 （decr命中次数）
STAT cas_misses 0 （cas未命中次数）
STAT cas_hits 0 （cas命中次数）
STAT cas_badval 0 （使用擦拭次数）
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 82819 （读取字节总数）
STAT bytes_written 104266 （写入字节总数）
STAT limit_maxbytes 67108864 （分配的内存数（字节））
STAT accepting_conns 1 （目前接受的连接数）
STAT listen_disabled_num 0
STAT threads 4 （线程数）
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT bytes 4789 （存储item字节数）
STAT curr_items 20 （item个数）
STAT total_items 144 （item总数）
STAT expired_unfetched 15
STAT evicted_unfetched 0
STAT evictions 0 （获取空间删除item的总数）
STAT reclaimed 36
END
quit
#退出
Connection closed by foreign host.说明： 需要经常关注：get_hits（get命中次数）和curr _items（当前项目数）的比值，该比值代表其命中率。
使用nc命令查看memcached状态
[root@adailinux ~]# yum install -y nc
[root@adailinux ~]# echo stats |nc 127.0.0.1 1121121.5 memcached命令行
[root@adailinux ~]# telnet 127.0.0.1 11211
#连接到memcached
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
###按Ctrl+]或者输入quit可以退出
set adai 0 30 2
#添加数据
ab
STORED
说明：
adai：键值名称；
0：标记，记录额外信息
30：数据保留时长
2：数据长度（字符数）
get adai
#查看数据
VALUE adai 0 2
ab
END注： 进入memcached后可以使用Ctrl+backspace键逐个删除当前行数据，Ctrl+u一次性清除当前行数据。
memcached语法规则
command name |
set/add/replace |
|---|---|
key |
查找关键字 |
flags |
客户机使用它存储关于键值对的额外信息（标记） |
exptime |
该数据的存活时间，0表示永远 |
bytes |
存储字节数 |
data block |
存储的数据块（可直接理解为key-value结构中的value） |
格式： < command name > < key > < flags > < expiretime > < bytes >rn < data block >rn
- <command name> 可以是"set", "add", "replace"
- "set"表示按照相应的<key>存储该数据，没有的时候增加，有的覆盖
- "add"表示按照相应的<key>添加该数据,但是如果该<key>已经存在则会操作失败
- "replace"表示按照相应的<key>替换数据,但是如果该<key>不存在则操作失败
- <key> 客户端需要保存数据的key
- <flags> 是一个16位的无符号的整数(以十进制的方式表示)
- 该标志将和需要存储的数据一起存储,并在客户端get数据时返回
- 客户可以将此标志用做特殊用途，此标志对服务器来说是不透明的
- <exptime> 过期的时间
- 若为0表示存储的数据永远不过时(但可被服务器算法：LRU 等替换)
- 如果非0(unix时间或者距离此时的秒数),当过期后,服务器可以保证用户得不到该数据(以服务器时间为标准)
- <bytes> 需要存储的字节数(不包含最后的"rn"),当用户希望存储空数据时,<bytes>可以为0
- 最后客户端需要加上"rn"作为"命令头"的结束标志（=Enter）。
- <data block>：要存储的内容（在上述参数设置完毕后，enter后再输入数据）
示例：
set key1 0 0 2
12
STORED
添加一个数据
get key1
VALUE key1 0 2
12
END
#查看数据
delete key1 0
DELETED
#删除一个数据
get key1
END
quit
Connection closed by foreign host.
[root@localhost ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set adai 0 0 3
123
STORED
get adai
VALUE adai 0 3
123
END
replace adai 2 200 5
12345
STORED
#更改数据
get adai
VALUE adai 2 5
12345
END
quit
Connection closed by foreign host.
查看数据状态：
[root@localhost ~]# memcached-tool 127.0.0.1:11211 display
# Item_Size Max_age Pages Count Full? Evicted Evict_Time OOM
1 96B 22s 1 1 yes 0 0 0
#Item_Size项目大小（类似于块的概念），该列以递增的形式显示注： 某数据超出其expire time之后该数据就会消失，如果expire time=0，表示永不失效，可使用LRU等算法替换该数据。
21.6 memcached数据导出和导入
因为memcached数据不能持久化（重启memcached服务数据会丢失），所以在重启服务之前最好将其中的数据导出，待重启完毕后再将数据导入memcached，防止数据丢失。
数据导出
准备数据：
[root@adailinux ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set name 1 0 4
adai
STORED
set age 1 0 2
26
STORED
set weight 1 0 2
80
set high 1 0 3
180
STORED
^]
telnet> quit
Connection closed.查看数据状态：
[root@adailinux ~]# memstat --servers=127.0.0.1:11211
curr_items: 4即，当前有4个项目。
导出数据：
[root@adailinux ~]# memcached-tool 127.0.0.1:11211 dump > /tmp/memdata.bak
Dumping memcache contents
Number of buckets: 1
Number of items : 4
Dumping bucket 1 - 4 total items
[root@adailinux ~]# cat /tmp/memdata.bak
add high 1 1506759339 3
180
add name 1 1506759339 4
adai
add weight 1 1506759339 2
80
add age 1 1506759339 2
26导入数据
[root@adailinux ~]# nc 127.0.0.1 11211 < /tmp/memdata.bak
NOT_STORED
NOT_STORED
NOT_STORED
NOT_STORED
#数据已经存在，所以无法导入。
[root@adailinux ~]# systemctl restart memcached
[root@adailinux ~]# date -d "+1 hour" +%s
1506768265
#获取1小时后的时间戳，
#将memdata.bak中的时间戳更改为该值
[root@adailinux ~]# vim /tmp/memdata.bak
add high 1 1506768265 3
180
add name 1 1506768265 4
adai
add weight 1 1506768265 2
80
add age 1 10000000 2
26
[root@adailinux ~]# nc 127.0.0.1 11211 < /tmp/memdata.bak
STORED
STORED
STORED
STORED
[root@adailinux ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get name
VALUE name 1 4
adai
END
get age
END
get high
VALUE high 1 3
180
END
get weight
VALUE weight 1 2
80
END注： 导出的数据是带有一个时间戳的，这个时间戳就是该条数据过期的时间点，如果数据已经存在或者当前时间已经过了这个时间点，数据将无法成功导入。
21.7 php连接memcached
使用PHP连接memcached需要先编译安装PHP的memcached扩展模块。（本机之前已经安装过PHP，所以直接重新编译，如果是首次安装，需要下载安装包。）
[root@adailinux src]# pwd
/usr/local/src
下载模块：
[root@adailinux src]# wget http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz
[root@adailinux src]# tar -zxvf memcache-2.2.3.tgz
[root@adailinux src]# cd memcache-2.2.3/
[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/bin/phpize
报错：
Cannot find autoconf. Please check your autoconf installation and the
$PHP_AUTOCONF environment variable. Then, rerun this script.
即，缺少autoconf。。此时无法生产configure文件
[root@adailinux memcache-2.2.3]# yum install -y autoconf
[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/bin/phpize
搞定！！
编译：
[root@adailinux memcache-2.2.3]# ./configure --with-php-config=/usr/local/php-fpm/bin/php-config
[root@adailinux memcache-2.2.3]# echo $?
0
[root@adailinux memcache-2.2.3]# make && make install
Installing shared extensions: /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/
[root@adailinux memcache-2.2.3]# ls /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/
memcache.so
即，生成memcache.so模块文件。
加载模块：
[root@adailinux memcache-2.2.3]# vim /usr/local/php-fpm/etc/php.ini
添加如下参数：
extension=memcache.so
[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/sbin/php-fpm -m
memcache即，memcache模块加载成功！
测试
下载测试脚本，查看PHP是否支持memcache扩展。
测试脚本内容如下：
[root@adailinux src]# vim 1.php
<?php
//连接Memcache Memcache
$mem = new Memcache;
$mem->connect("localhost", 11211);
//保存数据
$mem->set('key1', 'This is first value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val ."<br>";
//替换数据
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";
//保存数组数据
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";
//删除数据
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";
//清除所有数据
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";
//关闭连接
$mem->close();
?>测试：
[root@adailinux src]# /usr/local/php-fpm/bin/php 1.php
Get key1 value: This is first value<br>Get key1 value: This is replace value<br>Get key2 value: Array
(
[0] => aaa
[1] => bbb
[2] => ccc
[3] => ddd
)
<br>Get key1 value: <br>Get key2 value: <br>该情况说明配置成功！
21.8 memcached中存储session
更改session存贮位置（memcached）。
session测试
以下为更改存储位置前，session文件的错处位置：
测试脚本内容如下：
[root@adailinux ~]# cat .mem_se.txt
<?php
session_start();
if (!isset($_SESSION['TEST'])) {
$_SESSION['TEST'] = time();
}
$_SESSION['TEST3'] = time();
print $_SESSION['TEST'];
print "<br><br>";
print $_SESSION['TEST3'];
print "<br><br>";
print session_id();
?>
将该脚本放到当前机器默认站点的根目录/data/wwwroot/www：
[root@adailinux ~]# cd /data/wwwroot/www
[root@adailinux www]# mv /root/.mem_se.txt 1.php
#进行移动并重命名
执行如下命令：
[root@adailinux www]# curl localhost/1.php
1506768299<br><br>1506768299<br><br>pcqf6d4r4sjeede4nkpvjni9n6
##此时存储了一个session
[root@adailinux www]# ls /tmp/
sess_pcqf6d4r4sjeede4nkpvjni9n6
##该文件为执行上面命令生成的session文件更改session存储路径
方法1：
[root@adailinux ~]# vim /usr/local/php-fpm/etc/php.ini
;session.save_handler = files
默认情况值为files，存放在/tmp/下
session.save_handler = memcache
##指定存储类型
session.save_path = "tcp://192.168.8.131:11211"
##指定memcached服务器的IP和端口
重启php服务：
[root@adailinux www]# /etc/init.d/php-fpm restart
Gracefully shutting down php-fpm . done
Starting php-fpm done
删除/tmp/下原因的session文件：
[root@adailinux www]# rm -rf /tmp/sess*
在此创建session:
[root@adailinux www]# curl localhost/1.php
1506769084<br><br>1506769084<br><br>qe73bqse8rmckfchgb7j5b8ba6
###注：此处最后面的值为key
查看session信息：
[root@adailinux www]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get qe73bqse8rmckfchgb7j5b8ba6
VALUE qe73bqse8rmckfchgb7j5b8ba6 0 37
TEST|i:1506769084;TEST3|i:1506769084;
END
如果无法看到session数据的键值，
就无法直接在memcached中查看，
解决办法是将memcached数据导出：
[root@adailinux www]# memcached-tool 127.0.0.1:11211 dump > /tmp/memdata.bak
[root@adailinux www]# cat /tmp/memdata.bak
add qe73bqse8rmckfchgb7j5b8ba6 0 1506770524 37
TEST|i:1506769084;TEST3|i:1506769084;成功！
方法2：
在httpd.conf中定义session的保存路径：
php_value session.save_handler "memcache"
php_value session.save_path "tcp://192.168.8.130:11211"方法3：
在php-fpm.conf对应的pool中定义session的保存路径：
php_value[session.save_handler] = memcache
php_value[session.save_path] = " tcp://192.168.8.130:11211 "(adsbygoogle = window.adsbygoogle || []).push({});
- 完美的执行计划导致的性能问题(r4笔记第17天)
- 解决Docker容器时区及时间不同步的问题
- 移动端测试方案--sptt
- 服务端事件EventSource揭秘
- 让docker中的mysql启动时自动执行sql文件
- 通过执行计划中的CONCATENATION分析sql问题（r4笔记第16天)
- 《小美好》短评文本情感分析+生成词云
- 通过shell定制dbms_advisor.quick_tune(r4笔记第15天)
- 跨浏览器tab页的通信解决方案尝试
- 深度学习的GPU：深度学习中使用GPU的经验和建议
- socket.io搭配pm2（cluster）集群解决方案
- 用 Python 来刷微信「跳一跳」游戏的记录
- Spring+SpringMVC+MyBatis+easyUI整合优化篇（十二）数据层优化-explain关键字及慢sql优化
- 高吞吐koa日志中间件
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法