最全总结 | 聊聊 Python 数据处理全家桶(Memcached篇)
1. 前言
本篇文章继续继续另外一种比较常用的数据存储方式:Memcached
Memcached:一款高性能分布式内存对象缓存系统,通过 内存缓存,以减少数据库的读取,从而分担数据库的压力,进而提高网站的加载速度
Memcached,实际上是一套简洁的键值对存储系统,可以存储各种类型的数据,包含:字符串、对象、图像、文件、视频等
由于 Memcached 的数据存储在内存中,因此重启服务或系统之后,数据会全部丢失;另外,当 Memcached 使用容量达到指定值时,会基于 LRU 算法,自动删除掉不使用的缓存
Memcached 协议简洁而强大,开发方便快捷,兼容大部分的开发语言;本篇文章就聊聊 Python 操作 Memcached 正确的姿势
2. 准备
我们以在云服务器 Centos 7.8 安装 Memcached-Server 为例
首先,在云服务器上安装 Memcached
# 使用yum安装memcached
yum install memcached
通过 whereis 命令,查询出 Memcached 安装的目录
# 使用whereis命令查询memcached安装目录
# /usr/bin/memcached
[root@VM-16-11-centos ~]# whereis memcached
memcached: /usr/bin/memcached /usr/share/man/man1/memcached.1.gz
然后,通过命令行及参数启动 Memcached 服务
# 运行memcached服务
# -p:端口号
# -m:分类的内存
# -d:守护进程,后台运行
# -u:运行memcached的用户
# -l:设置哪些ip可以连接到服务,0.0.0.0:容许外网ip访问
/usr/bin/memcached -p 11211 -m 64m -d -u root -l 0.0.0.0
常见的启动参数包含:
- -d:通过守护进程,在后台运行
- -m:分配的最大内存,默认大小为 64 M
- -u:运行 Memcached 的用户
- -l:设置可以访问 Memecache 服务的 ip 地址,默认只能通过本机访问;如果想外网进行访问,需要设置为:0.0.0.0
- -p:设置 Memcached 监听的端口号,默认为 111211
- -c:最大运行的并发连接数,默认为 1024
接着,开启防火墙端口
需要注意的是,如果是云服务器,需要在安全组中开放相应端口号
# 开启端口号
firewall-cmd --add-port=11211/tcp --permanent
# 重启立即生效
firewall-cmd --reload
完成以上操作,我们有两种方式操作数据
分别是:
1、通过 telnet 连接 Memecached 服务,使用命令行去操作
# 连接
telnet IP地址 11211
2、通过编程语言,包含:Python、Java、Php,去操作 Memcached 数据
以 Python 为例,需要安装 python-memcached 依赖
# 安装依赖
pip3 install python-memcached
3. 实战
在操作 Memcache 中的数据之前,我们需要导入 memcache,使用 Client() 方法指定要操作的 Memecache 服务,构建一个数据连接对象
def __init__(self):
# 连接memcached服务,可以包含多个服务ip
self.mc = memcache.Client(['ip:11211'], debug=True)
接下来我们以新增、查询、更新、追加、删除、为例,讲讲 Python 操作这些数据的方法
1、新增操作
新增操作对应的方法是:add(key,value,timeout)
其中,参数 timeout 表示数据保留的时间,超时会自动被清除掉
需要注意的是,如果准备插入键值对中的 key 在原数据集中不存在,则会新增一条记录到数据集中;否则,会添加失败,并警告提示
def __add(self):
"""
添加记录
:return:
"""
# 添加一条数据,如果已经存在,会添加失败,并提出异常
# time:保存时间,超时会被清除,单位为秒,默认是保存永久
# 注意:如果添加的key已经存在,会警告:MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'
self.mc.add("name", "xag", time=60 * 5)
self.mc.add("age", 23)
2、查询操作
Memcached 查询操作分为:
- 通过 Key 去查询单条记录
- 通过多个 Key 组成的列表去查询多条记录
其中,单条记录查询对应的方法是:get(key)
def __query_one(self, key):
"""
查询单条记录
:return:
"""
result = self.mc.get(key)
print('单条记录查询,key:', key, ",value:", result)
多条记录的查询,对应的方法是:get_multi(keys)
def __query_many(self, keys):
"""
查询多条记录
:param keys: 键值列表
:return:
"""
values = self.mc.get_multi(keys)
# dict,键值对
print(type(values))
print('多条记录查询:', values)
3、更新操作
更新操作包含三种方法,分别是:
- 更新一条记录,如果键不存在,则更新失败 对应方法是:replace(key,value)
- 更新一条记录,如果键不存在,则新增一条记录 对应方法是:set(key,value)
- 更新多条记录,如果其中有不存在的键,则将对应的键值对新增到数据集中 对应方法:set_multi({key1:value1...})
具体实例代码如下:
def __update_default(self):
"""
更新数据,包含:replace、set、set_multi
:return:
"""
# 1、使用replace更新一条记录
# self.mc.replace("name","xag1")
# self.__query_one("name")
# 2、使用set更新记录,如果key不存在,则添加一条记录
# set = replace + add
# self.mc.set("name", "xag2")
# self.__query_one("name")
# 3、使用set_multi更新多条记录,如果其中有不存在的key,则新建一个键值对
self.mc.set_multi({"name": "xag3", "age": 28})
self.__query_many(["name", "age"])
4、追加操作
追加操作相当于修改某一个键的值,在头部或者尾部追加数据
其中:
- append(str):在尾部追加一段数据
- prepend(str):在头部新增一段数据
实践代码如下:
def __update_append(self):
"""
追加更新,包含:append、prepend
:return:
"""
# 1、append
# value尾部追加内容
self.mc.append("name","我是新增的内容")
self.__query_one("name")
# 2、prepend
# 头部新增内容
self.mc.prepend("name","头部新增的内容")
self.__query_one("name")
5、删除操作
和查询操作类似,删除操作同样支持单个键值对的删除和多个键值对的删除
- delete(key):删除某一个键值对
- delete_multi(keys):删除列表中所有的 Key 对应的所有键值对
对应的操作代码如下:
def __delete(self):
"""
删除数据,包含:delete、delete_multi
:return:delete_multi
"""
# 1、delete
# 删除单条键值对
# self.mc.delete("age")
# self.__query_one("age")
# 2、delete_multi
# 删除多条记录
keys = ["name","age"]
self.mc.delete_multi(keys)
self.__query_many(keys)
- 机器学习算法GBDT的面试要点总结
- 了解、接受和利用Java中的Optional (类)
- 一个强化学习 Q-learning 算法的简明教程
- 天池大赛—商场中精确定位用户所在店铺 作品分享
- 代码实战:从单体式应用到微服务的低风险演变
- 数据转换:从单体式应用到微服务的低风险演变
- JDK8 stream toMap() java.lang.IllegalStateException: Duplicate key异常解决(key重复)
- 如约而至,Java 10 正式发布!
- Intellij IDEA查看所有断点
- Spring Boot国际化支持
- 有记忆会推理的可微分神经计算机,DeepMind现在开源了代码
- Spring Boot整合Thymeleaf模板引擎
- Spring Boot实现热部署
- Java中的宏变量,宏替换详解。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- shadertoy绘图
- 单基因生信分析流程(6)单基因相似性分析
- 三阴性乳腺癌提取和分析
- 一日一技:更友好的格式化数据提取方案
- 『深度应用』YoloV5 RTX2080Ti TensorRT与PyTorch速度对比
- 0797-使用HDP或CDP的Atlas采集CDH6的元数据和血缘
- 现代通信理论与新技术 PPT笔记整理
- 找找规律——LeetCode题目6:Z字形变换
- 给你点信心——LeetCode题目7:整数反转
- Python -二叉树 创建与遍历算法(很详细,转自国外教程)
- APP流量来源追踪方式——Android篇
- 从浏览器输入网址回车到看到页面过程到底经历了什么?
- Flutter Bloc 官方文档(BlocBuilder翻译)
- OpenGL ES 3.0 | 统一变量和属性的概念与(在程序中的)获取流程、统一变量缓冲区对象详解、std140块规范、用 命名统一变量块 建立 统一变量缓冲区对象 的流程 和 相关API 和...
- 深入浅出SVM(PART III)