其实我使用Redis是在我的小说网站上边正式使用,玩的就是一个单机环境,毕竟就我自己一个人看小说嘛,结合SpringBoot写起来是真的方便,缓存一些章节、详情了,很强。于是乎我就写一个有关Redis的教程吧,以后有不会的就来查查,想要把Redis的全部内容都整明白,我自认为我不是大神,了解个大概我感觉就可以了。好了,开始吧。弄一弄这个目前最流行的非关系型数据库。命令参考,有不会的就进来查查喽。
一、有关Redis最常用的数据结构
Redis是一种高级的key:value存储系统,其中value支持五种数据类型:
- 字符串(strings)
- 字符串列表(lists)
- 字符串集合(sets)
- 有序字符串集合(sorted sets)
- 哈希(hashes)
有几个地方要注意下:
1.key不要太长,尽量不要超过1024字节,这不仅消耗内存,而且会降低查找的效率;
2.key也不要太短,太短的话,key的可读性会降低;
3.在一个项目中,key最好使用统一的命名模式,例如user:10000:passwd。
1:Redis数据结构 – strings
如果只使用Redis中的字符串类型,且不使用Redis的持久化功能,那么,Redis就和memcache非常非常的像了。这说明strings类型是一个很基础的数据类型,也是任何存储系统都必备的数据类型。
一个例子:
1 | set mystr "hello world!" #设置字符串类型 |
字符串类型的用法就是这么简单,因为是二进制安全的,所以完全可以把一个图片文件的内容作为字符串来存储。
另外,还可以通过字符串类型进行数值操作:
1 | 127.0.0.1:6379> set mynum "2" |
在遇到数值操作时,Redis会将字符串类型转换成数值。
由于INCR
等指令本身就具有原子操作的特性,所以我们完全可以利用Redis的INCR
、INCRBY
、DECR
、DECRBY
等指令来实现原子计数的效果,假如,在某种场景下有3个客户端同时读取了mynum的值(值为2),然后对其同时进行了加1的操作,那么,最后mynum的值一定是5。不少网站都利用Redis的这个特性来实现业务上的统计计数需求。
2:Redis数据结构 – lists
Redis的另一个重要的数据结构叫做lists,翻译成中文叫做“列表”。
首先要明确一点,Redis中的lists在底层实现上并不是数组,而是链表,也就是说对于一个具有上百万个元素的lists来说,在头部和尾部插入一个新元素,其时间复杂度是常数级别的,比如用LPUSH在10个元素的lists头部插入新元素,和在上千万元素的lists头部插入新元素的速度应该是相同的。
虽然lists有这样的优势,但同样有其弊端,那就是,链表型lists的元素定位会比较慢,而数组型lists的元素定位就会快得多。
lists的常用操作包括LPUSH
、RPUSH
、LRANGE
等。我们可以用LPUSH在lists的左侧插入一个新元素,用RPUSH在lists的右侧插入一个新元素,用LRANGE命令从lists中指定一个范围来提取元素。我们来看几个例子:
1 | //新建一个list叫做mylist,并在列表头部插入元素"1" |
lists的应用相当广泛:
- 我们可以利用lists来实现一个消息队列,而且可以确保先后顺序,不必像MySQL那样还需要通过ORDER BY来进行排序。
- 利用LRANGE还可以很方便的实现分页的功能。
- 在博客系统中,每片博文的评论也可以存入一个单独的list中。
3:Redis数据结构 – sets
Redis的集合,是一种无序的集合,集合中的元素没有先后顺序。
集合相关的操作也很丰富,如添加新元素、删除已有元素、取交集、取并集、取差集等。
1 | //向集合myset中加入一个新元素"one" |
对于集合的使用,也有一些常见的方式,比如,QQ有一个社交功能叫做“好友标签”,大家可以给你的好友贴标签,比如“大美女”、“土豪”、“欧巴”等等,这时就可以使用Redis的集合来实现,把每一个用户的标签都存储在一个集合之中。
4:Redis数据结构 – zsets
Redis不但提供了无需集合(sets),还很体贴的提供了有序集合(sorted sets)。有序集合中的每个元素都关联一个序号(score),这便是排序的依据。
很多时候,我们都将Redis中的有序集合叫做zsets,这是因为在Redis中,有序集合相关的操作指令都是以z开头的,比如zrange
、zadd
、zrevrange
、zrangebyscore
等等
1 | 127.0.0.1:6379> zadd myzset 1 baidu.com |
5:Redis数据结构 – 哈希
最后是hashes,即哈希。哈希是从Redis-2.0.0版本之后才有的数据结构。
hashes存的是字符串和字符串值之间的映射,比如一个用户要存储其全名、姓氏、年龄等等,就很适合使用哈希。
1 | //建立哈希,并赋值 |
二、有关Redis的持久化
Redis提供了两种持久化的方式,分别是RDB
(Redis DataBase)和AOF
(Append Only File)。
RDB
,简而言之,就是在不同的时间点,将Redis存储的数据生成快照并存储到磁盘等介质上;
AOF
,则是换了一个角度来实现持久化,那就是将Redis执行过的所有写指令记录下来,在下次Redis重新启动时,只要把这些写指令从前到后再重复执行一遍,就可以实现数据恢复了。
其实RDB和AOF两种方式也可以同时使用,在这种情况下,如果Redis重启的话,则会优先采用AOF方式来进行数据恢复,这是因为AOF方式的数据恢复完整度更高。
如果没有数据持久化的需求,也完全可以关闭RDB和AOF方式,这样的话,Redis将变成一个纯内存数据库,就像memcache一样。
1:RDB
RDB方式,是将Redis某一时刻的数据持久化到磁盘中,是一种快照式的持久化方法。
Redis在进行数据持久化的过程中,会先将数据写入到一个临时文件中,待持久化过程都结束了,才会用这个临时文件替换上次持久化好的文件。正是这种特性,让我们可以随时来进行备份,因为快照文件总是完整可用的。
对于RDB方式,Redis会单独创建(fork)一个子进程来进行持久化,而主进程是不会进行任何IO操作的,这样就确保了Redis极高的性能。
如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。
虽然RDB有不少优点,但它的缺点也是不容忽视的。如果你对数据的完整性非常敏感,那么RDB方式就不太适合你,因为即使你每5分钟都持久化一次,当Redis故障时,仍然会有近5分钟的数据丢失。
2:AOF
AOF,英文是Append Only File,即只允许追加不允许改写的文件。
AOF方式是将执行过的写指令记录下来,在数据恢复时按照从前到后的顺序再将指令都执行一遍,就这么简单。
我们通过配置Redis.conf
中的appendonly yes
就可以打开AOF功能。
默认的AOF持久化策略是每秒钟fsync一次(fsync是指把缓存中的写指令记录到磁盘中),因为在这种情况下,Redis仍然可以保持很好的处理性能,即使Redis故障,也只会丢失最近1秒钟的数据。
因为采用了追加方式,如果不做任何处理的话,AOF文件会变得越来越大,为此,Redis提供了AOF文件重写(rewrite)机制,即当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集。举个例子或许更形象,假如我们调用了100次INCR指令,在AOF文件中就要存储100条指令,但这明显是很低效的,完全可以把这100条指令合并成一条SET指令,这就是重写机制的原理。
AOF方式的另一个好处,我们通过一个“场景再现”来说明。某同学在操作Redis时,不小心执行了FLUSHALL,导致Redis内存中的数据全部被清空了,这是很悲剧的事情。不过这也不是世界末日,只要Redis配置了AOF持久化方式,且AOF文件还没有被重写(rewrite),我们就可以用最快的速度暂停Redis并编辑AOF文件,将最后一行的FLUSHALL命令删除,然后重启Redis,就可以恢复Redis的所有数据到FLUSHALL之前的状态了。是不是很神奇,这就是AOF持久化方式的好处之一。但是如果AOF文件已经被重写了,那就无法通过这种方法来恢复数据了。
虽然优点多多,但AOF方式也同样存在缺陷,比如在同样数据规模的情况下,AOF文件要比RDB文件的体积大。而且,AOF方式的恢复速度也要慢于RDB方式。
3:AOF重写
在重写即将开始之际,Redis会创建(fork)一个“重写子进程”,这个子进程会首先读取现有的AOF文件,并将其包含的指令进行分析压缩并写入到一个临时文件中。
与此同时,主工作进程会将新接收到的写指令一边累积到内存缓冲区中,一边继续写入到原有的AOF文件中,这样做是保证原有的AOF文件的可用性,避免在重写过程中出现意外。
当“重写子进程”完成重写工作后,它会给父进程发一个信号,父进程收到信号后就会将内存中缓存的写指令追加到新AOF文件中。
当追加结束后,Redis就会用新AOF文件来代替旧AOF文件,之后再有新的写指令,就都会追加到新的AOF文件中了。
三、Redis的主从模式
一个搭建的过程:https://blog.csdn.net/github_26672553/article/details/69568259
一个架构图:
像MySQL一样,Redis是支持主从同步的,而且也支持一主多从以及多级从结构。不过生生产环境上一般不用这种主从的方式了,用的都是Redis集群的模式来保证高性能和高可用性。
主从结构,一是为了纯粹的冗余备份,二是为了提升读性能,比如很消耗性能的SORT就可以由从服务器来承担。
Redis的主从同步是异步进行的,这意味着主从同步不会影响主逻辑,也不会降低Redis的处理性能。
主从架构中,可以考虑关闭主服务器的数据持久化功能,只让从服务器进行持久化,这样可以提高主服务器的处理性能。
在主从架构中,从服务器通常被设置为只读模式,这样可以避免从服务器的数据被误修改。但是从服务器仍然可以接受CONFIG等指令,所以还是不应该将从服务器直接暴露到不安全的网络环境中。如果必须如此,那可以考虑给重要指令进行重命名,来避免命令被外人误执行。
主从同步原理
从服务器会向主服务器发出SYNC
指令,当主服务器接到此命令后,就会调用BGSAVE
指令来创建一个子进程专门进行数据持久化工作,也就是将主服务器的数据写入RDB文件中。在数据持久化期间,主服务器将执行的写指令都缓存在内存中。
在BGSAVE指令执行完成后,主服务器会将持久化好的RDB文件发送给从服务器,从服务器接到此文件后会将其存储到磁盘上,然后再将其读取到内存中。这个动作完成后,主服务器会将这段时间缓存的写指令再以Redis协议的格式发送给从服务器。
另外,要说的一点是,即使有多个从服务器同时发来SYNC指令,主服务器也只会执行一次BGSAVE,然后把持久化好的RDB文件发给多个下游。在Redis2.8版本之前,如果从服务器与主服务器因某些原因断开连接的话,都会进行一次主从之间的全量的数据同步;而在2.8版本之后,Redis支持了效率更高的增量同步策略,这大大降低了连接断开的恢复成本。
主服务器会在内存中维护一个缓冲区,缓冲区中存储着将要发给从服务器的内容。从服务器在与主服务器出现网络瞬断之后,从服务器会尝试再次与主服务器连接,一旦连接成功,从服务器就会把“希望同步的主服务器ID”和“希望请求的数据的偏移位置(replication offset)”发送出去。主服务器接收到这样的同步请求后,首先会验证主服务器ID是否和自己的ID匹配,其次会检查“请求的偏移位置”是否存在于自己的缓冲区中,如果两者都满足的话,主服务器就会向从服务器发送增量内容。
增量同步功能,需要服务器端支持全新的PSYNC指令。这个指令,只有在Redis-2.8之后才具有。
四、Redis的哨兵模式
该模式是从Redis的2.6版本开始提供的,但是当时这个版本的模式是不稳定的,直到Redis的2.8版本以后,这个哨兵模式才稳定下来,在生产环境中,如果想要使用Redis的哨兵模式,也会尽量使用Redis的2.8版本之后的版本。无论是主从模式,还是哨兵模式,这两个模式都有一个问题,不能水平扩容,并且这两个模式的高可用特性都会受到Master主节点内存的限制。还有一点,实现哨兵模式的配置也不简单,甚至可以说有些繁琐,所以在生产环境下这两个模式都不建议使用。
可以参考下这个文章中有关哨兵模式的使用:https://www.cnblogs.com/jaycekon/p/6237562.html
五、Redis的事务处理
众所周知,事务是指“一个完整的动作,要么全部执行,要么什么也没有做”。
在聊Redis事务处理之前,要介绍四个Redis指令,即MULTI
、EXEC
、DISCARD
、WATCH
。这四个指令构成了Redis事务处理的基础。
1.MULTI用来组装一个事务;
2.EXEC用来执行一个事务;
3.DISCARD用来取消一个事务;
4.WATCH用来监视一些key,一旦这些key在事务执行之前被改变,则取消事务的执行。
1 | Redis> MULTI //标记事务开始 |
在上面的例子中,我们看到了QUEUED的字样,这表示我们在用MULTI组装事务时,每一个命令都会进入到内存队列中缓存起来,如果出现QUEUED则表示我们这个命令成功插入了缓存队列,在将来执行EXEC时,这些被QUEUED的命令都会被组装成一个事务来执行。
对于事务的执行来说,如果Redis开启了AOF持久化的话,那么一旦事务被成功执行,事务中的命令就会通过write命令一次性写到磁盘中去,如果在向磁盘中写的过程中恰好出现断电、硬件故障等问题,那么就可能出现只有部分命令进行了AOF持久化,这时AOF文件就会出现不完整的情况,这时,我们可以使用Redis-check-aof工具来修复这一问题,这个工具会将AOF文件中不完整的信息移除,确保AOF文件完整可用。
有关事务,大家经常会遇到的是两类错误:
- 1.调用EXEC之前的错误
- 2.调用EXEC之后的错误
“调用EXEC之前的错误”,有可能是由于语法有误导致的,也可能时由于内存不足导致的。只要出现某个命令无法成功写入缓冲队列的情况,Redis都会进行记录,在客户端调用EXEC时,Redis会拒绝执行这一事务。(这时2.6.5版本之后的策略。在2.6.5之前的版本中,Redis会忽略那些入队失败的命令,只执行那些入队成功的命令)。我们来看一个这样的例子:
1 | 127.0.0.1:6379> multi |
而对于“调用EXEC之后的错误”,Redis则采取了完全不同的策略,即Redis不会理睬这些错误,而是继续向下执行事务中的其他命令。这是因为,对于应用层面的错误,并不是Redis自身需要考虑和处理的问题,所以一个事务中如果某一条命令执行失败,并不会影响接下来的其他命令的执行。我们也来看一个例子:
1 | 127.0.0.1:6379> multi |
WATCH
本身的作用是“监视key是否被改动过”,而且支持同时监视多个key,只要还没真正触发事务,WATCH都会尽职尽责的监视,一旦发现某个key被修改了,在执行EXEC时就会返回nil,表示事务无法触发。
1 | 127.0.0.1:6379> set age 23 |
本博客所有文章除特别声明外,均采用 CC BY-SA 3.0协议 。转载请注明出处!