暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Redis过期策略与缓存问题

中间件源码 2020-06-04
459


过期策略

定时删除

含义:在设置key的过期时间的同时,为该key创建一个定时器,让定时器在key的过期时间来临时,对key进行删除。

优点:保证内存被尽快释放。

缺点:若过期key很多,删除这些key会占用很多的CPU时间,在CPU时间紧张的情况下,CPU不能把所有的时间用来做要紧的事儿,还需要去花时间删除这些key。定时器的创建耗时,若为每一个设置过期时间的key创建一个定时器(将会有大量的定时器产生),性能影响严重, 没人用。

惰性删除

含义:key过期的时候不删除,每次从数据库获取key的时候去检查是否过期,若过期,则删除,返回null。

优点:删除操作只发生在从数据库取出key的时候发生,而且只删除当前key,所以对CPU时间的占用是比较少的,而且此时的删除是已经到了非做不可的地步(如果此时还不删除的话,我们就会获取到了已经过期的key了)。

缺点:若大量的key在超出超时时间后,很久一段时间内,都没有被获取过,那么可能发生内存泄露(无用的垃圾占用了大量的内存)。

定期删除

含义:每隔一段时间执行一次删除(在redis.conf配置文件设置hz,1s刷新的频率)过期key操作。

优点:通过限制删除操作的时长和频率,来减少删除操作对CPU时间的占用—处理”定时删除”的缺点。定期删除过期key—处理”惰性删除”的缺点。

缺点 在内存友好方面,不如”定时删除”。在CPU时间友好方面,不如”惰性删除”。

难点 合理设置删除操作的执行时长(每次删除执行多长时间)和执行频率(每隔多长时间做一次删除)(这个要根据服务器运行情况来定了)。

结论

定时删除和定期删除为主动删除:Redis会定期主动淘汰一批已过去的key。

惰性删除为被动删除:用到的时候才会去检验key是不是已过期,过期就删除。

惰性删除为redis服务器内置策略。定期删除可以通过:

第一、配置redis.conf 的hz选项,默认为10 (即1秒执行10次,100ms一次,值越大说明刷新频率越快,最Redis性能损耗也越大) 。

第二、配置redis.conf的maxmemory最大值,当已用内存超过maxmemory限定时,就会触发主动清理策略。

对于惰性删除而言,并不是只有获取key的时候才会检查key是否过期,在某些设置key的方法上也会检查

Redis采用的过期策略

惰性删除+定期删除

删除流程

遍历每个数据库(就是redis.conf中配置的”database”数量,默认为16) 检查当前库中的指定个数个key(默认是每个库检查20个key,注意相当于该循环执行20次,循环体时下边的描述) 如果当前库中没有一个key设置了过期时间,直接执行下一个库的遍历 随机获取一个设置了过期时间的key,检查该key是否过期,如果过期,删除key 判断定期删除操作是否已经达到指定时长,若已经达到,直接退出定期删除。

RDB对过期key的处理

过期key对RDB没有任何影响 从内存数据库持久化数据到RDB文件 持久化key之前,会检查是否过期,过期的key不进入RDB文件 从RDB文件恢复数据到内存数据库 数据载入数据库之前,会对key先进行过期检查,如果过期,不导入数据库(主库情况) 在进行get或setnx等操作时,先检查key是否过期, 若过期,删除key,然后执行相应操作;若没过期,直接执行相应操作 定期删除流程(简单而言,对指定个数个库的每一个库随机删除小于等于指定个数个过期key)

AOF对过期key的处理

过期key对AOF没有任何影响 从内存数据库持久化数据到AOF文件:当key过期后,还没有被删除,此时进行执行持久化操作(该key是不会进入aof文件的,因为没有发生修改命令) 当key过期后,在发生删除操作时,程序会向aof文件追加一条del命令(在将来的以aof文件恢复数据的时候该过期的键就会被删掉) AOF重写 * 重写时,会先判断key是否过期,已过期的key不会重写到aof文件

缓存雪崩

问题描述

如果在一个时间点,有大批量数据过期怎么办 缓存雪崩 (国外叫做:stampeding herd(奔逃的野牛)

下面的就是一个雪崩的简单过程:

1、redis集群彻底崩溃。

2、缓存服务大量对redis的请求hang住,占用资源。

3、缓存服务大量的请求打到源头服务去查询mysql,直接打死mysql。

4、源头服务因为mysql被打死也崩溃,对源服务的请求也hang住,占用资源。

5、缓存服务大量的资源全部耗费在访问redis和源服务无果,最后自己被拖死,无法提供服务。

6、nginx无法访问缓存服务,redis和源服务,只能基于本地缓存提供服务,但是缓存过期后,没有数据提供。

7、网站崩溃。

雪崩问题在国外叫做:stampeding herd(奔逃的野牛),指的的cache crash后,流量会像奔逃的野牛一样,打向后端。

缓存雪崩 很多缓存数据都是由定时任务刷出来的,所有它们的失效时间都很集中。如果正好在失效的时候出现大量的请求,这些请求就直接打在数据库上了,数据库可能会压力骤增而宕机。

解决方案:

(1)事前解决方案 -redis高可用

部署方式二:双机房部署,两套Redis Cluster,两套Redis Cluster之间做一个数据同步。

(2)业务上解决办法有两个,—缓存随机,限流降级 在批量加入缓存数据的时候,为失效时间加入一个随机值。另外就是RateLimiter等组件来限流,防止短时间出现大量的请求进入系统。对缓存访问进行 资源隔离(熔断)、Fail Silent 降级 避免所有资源hang在访问缓存上,当判断缓存出现问题,则自动进行熔断并按预设进行降级操作。

余额宝的客官请稍等一会

(3)事后解决方案—— 数据预热 Redis数据备份和恢复 快速缓存预热

缓存穿透解决方案

缓存穿透的概念很简单,用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询。发现也没有,于是本次查询失败。当用户很多的时候,缓存都没有命中,于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力,这时候就相当于出现了缓存穿透。

(1)鉴权校验,过滤非法参数。

(2)布隆过滤器。

(3)缓存空对象

缓存击穿

缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。解决方案:

(1)设置热点数据永远不过期。

(2)加互斥锁。



一码不扫,
可以扫天下?






文章转载自中间件源码,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论