高并发下缓存雪崩、穿透、击穿了,你该如何挽救
本文源自 公-众-号 IT老哥 的分享
IT老哥,一个在大厂做高级Java开发的程序员,每天分享技术干货文章
前言
在今天的互联网里,高并发
、大数据量
、大流量
已经成为了代言词,那么我们的系统
也承受着巨大的压力
,首当其冲的解决方案就是redis
。
那么redis使用不当就会产生雪崩
、穿透
、击穿
等问题,这也是考验一个程序员技术能力
的时刻。
当然面试的时候,这也是高频面试题
,几乎大厂都会问到。下面跟着贴心老哥
一起来看看这些技术吧。
缓存雪崩
举例
双十一期间,所有用户一打开淘宝就是进入首页
,首页的压力非常大,为了提高并发,将网站首页数据
都缓存到redis
里,所有的redis key失效时间
都是3小时
。
双十一当天大量用户剁手狂欢
,这时候3个小时过去了,redis里首页的key缓存全部失效
,这时候redis里查询不到数据了,只能去数据库
中查询,造成数据库无法响应挂掉
。
用户进不去首页没法剁手了,马爸爸
就不开心
了,把这个程序员外派到非洲
了。
一句话总结
在高并发
下,大量缓存key在同一时间失效
,大量请求直接落在数据库上,导致数据库宕机。
解决方案
- 随机设置key失效时间,避免大量key集体失效。 setRedis(Key,value,time + Math.random() * 10000);
- 若是集群部署,可将热点数据均匀分布在不同的Redis库中也能够避免key全部失效问题
- 不设置过期时间
- 跑定时任务,在缓存失效前刷进新的缓存
缓存穿透
举例
老哥做了一个网站火了
,动了别人的蛋糕,于是开始疯狂攻击
老哥的网站,由于老哥网络安全
方面学艺不精被人钻了空子。
某人用脚本疯狂的给老哥发送请求,查询 id = -1
的数据,redis并没有这样的数据,这时候就穿透redis
,直接打到了数据库
上。
半夜老哥在睡觉并没有察觉,他疯狂攻击老哥一晚上,结果把数据库
搞挂了,然后老哥的网站
也挂了。
一句话总结
redis缓存
和数据库
中没有相关数据(例用户直接携带id<=0
的参数不断发起请求),redis中没有这样的数据,无法进行拦截
,直接被穿透到数据库
,导致数据库压力过大宕机。
解决方案
- 对不存在的数据缓存到redis中,设置key,value值为null(不管是数据未null还是系统bug问题),并设置一个短期过期时间段,避免过期时间过长影响正常用户使用。
- 拉黑该IP地址
- 对参数进行校验,不合法参数进行拦截
-
布隆过滤器
将所有可能存在的数据哈希到一个足够大的bitmap
(位图)中,一个一定不存在的数据会被 这个bitmap拦截掉,从而避免了对底层存储系统的查询压力。
缓存击穿
举例
双十一马爸爸
突发奇想,想拍卖
自己穿了20年的老布鞋
,并且附带本人签名,程序员将该鞋的信息存到了redis中,设置了3小时
过期。寻思3小时够他们抢了吧,但他低估了马爸爸的魅力。
该商品引起了一千万人关注,这些人不断的竞拍这双鞋,价格越拍越高,马爸爸乐开了花。
竞拍了2小时59
分,马上要拍到一个亿了,突然这双鞋在redis里的key数据过期了
,导致该key的大量请求,都打到了数据库,直接导致数据库挂掉了,服务无法响应。
竞拍到此结束,鞋没卖出去,马爸爸又不开心了,把这个程序员也外派到非洲
了。
一句话总结
某一个
热点key,在不停地扛着高并发,当这个热点key在失效的一瞬间
,持续的高并发访问就击破缓存
直接访问数据库,导致数据库宕机。
解决方案
- 设置热点数据"永不过期"
-
加上互斥锁
/分布式锁
:上面的现象是多个线程同时去查询数据库的这条数据,那么我们可以在第一个查询数据的请求上使用一个互斥锁来锁住它 其他的线程走到这一步拿不到锁就等着,等第一个线程查询到了数据,然后将数据放到redis缓存起来。后面的线程进来发现已经有缓存了,就直接走缓存 # 简单的分布式锁实现,之后我们重点会讲分布式锁 public String get(key) { String value = redis.get(key); if (value == null) { //代表缓存值过期 //设置3min的超时,防止del操作失败的时候,下次缓存过期一直不能load db String keynx = key.concat(":nx"); if (redis.setnx(keynx, 1, 3 * 60) == 1) { //代表设置成功 value = db.get(key); redis.set(key, value, expire_secs); redis.del(keynx); } else { //这个时候代表同时候的其他线程已经load db并回设到缓存了,这时候重试获取缓存值即可 sleep(50); get(key); //重试 } } else { return value; } }
最后总结
雪崩是大面积
的key缓存失效;穿透是redis里不存在
这个缓存key;击穿是redis某一个热点
key突然失效,最终的受害者都是数据库。
思考
未雨绸缪
:将redis、MySQL等搭建成高可用的集群,防止单点。
亡羊补牢
:服务中进行限流 + 降级,防止MySQL被打崩溃。
重振旗鼓
:Redis 持久化 RDB+AOF,宕机重启,自动从磁盘上加载数据,快速恢复缓存数据。
云服务器,云硬盘,数据库(包括MySQL、Redis、MongoDB、SQL Server),CDN流量包,短信流量包,cos资源包,消息队列ckafka,点播资源包,实时音视频套餐,网站管家(WAF),大禹BGP高防(包含高防包及高防IP),云解析,SSL证书,手游安全MTP,移动应用安全、 云直播等等。
- Linux下DNS简单部署(主从域名服务器)
- 本地yum源部署记录
- silverlight4:摄像头占用状态检测以及二种截屏方法
- Flash/Flex学习笔记(16):如何做自定义Loading加载其它swf
- 台胞也能发红包喽!小编手把手教你搞定微信支付!
- 获取可视区域高度赋值给div(解决document.body.clientHeight的返回值为0的问题)
- Docker管理工具-Swarm部署记录
- 聊一聊大数据的问题和缺陷
- Flash/Flex学习笔记(13):对象拖动(startDrag/stopDrag)
- 原来Silverlight 4中是可以玩UDP的!
- Flash/Flex学习笔记(12):FMS 3.5之如何做视频实时直播
- Flash/Flex学习笔记(11):如何检测摄像头是否被占用
- Flash/Flex学习笔记(10):FMS 3.5之Hello World!
- Swarm基于多主机容器网络-overlay networks 梳理
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- android全局监控click事件的四种方式(小结)
- Linux下如何永久修改主机名的方法步骤
- android与asp.net服务端共享session的方法详解
- Android实现多个连续带数字圆圈效果
- Android录制mp3格式文件
- Linux内核设备驱动之虚拟文件系统笔记整理
- linux服务器上使用nginx访问本地静态资源的方法
- Android控件之菜单的创建方式
- 可支持快速搜索筛选的Android自定义选择控件
- Android编程实现的短信编辑器功能示例
- SELinux 入门详解
- Android EditText限制输入字符的方法总结
- Android使用API实现图像扭曲效果示例
- linux网络配置工具的使用
- Android基于BaseExpandableListAdapter实现的二级列表仿通话记录功能详解