redis集群
redis有三种集群方式:主从复制,哨兵模式(Sentinel),集群(Redis Cluster)
主从复制
redis主从为了解决单点问题,通常会把数据复制多个副本到其他机器,满足故障恢复和负载均衡,主节点负责写数据 ,从节点负责读数据,主节点定期把数据同步到从节点保证数据的一致性。
缺点:
- 主从复制,若主节点出现问题,则不能提供服务,需要人工修改配置将主变成从。
- 主从复制主节点的写能力有限,能力有限
- 单机节点的存储能力有限
工作原理
- 全量同步
redis全量复制一般发生在slave初始化阶段,这时slave需要将master上的所有数据都复制一份,具体步骤如下:
- 从服务器连接主服务器,发送sync命令。
- 主服务器接收到sync命令后,开始执行BGSAVE命令生产rdb文件并使用缓冲区记录此后执行的所有命令写命令,
- 主服务器BGSAVE命令执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的命令。
- 从服务器收到快照文件后,丢弃所有所有旧数据,载入收到的快照。
- 主服务器快照发送完毕后开始向从服务器发送缓冲区的写命令。
- 从服务器完成对快照的载入,开始接受命令请求,并执行来自主服务器缓冲区的写命令。
- 增量同步
redis增量复制是指slave初始化后开始正常工作时,主服务器发生的写操作同步到从服务器的过程。
主从刚刚链接的时候,进行全量同步,全量同步结束后,进行增量同步,当然,如果有需要,slave节点可以在任何时候都可以发起全量同步,
redis策略是,无论如何,首先会尝试进行增量同步,如不成功,要求slave进行全量同步
如果多个slave断线了,需要重启的时候,因为只要slave启动,就会发送sync的请求和主机全量同步,当多个同时出现的时候,可能会导致master
io 剧增,已致宕机。
缺点
- 若主节点出现故障,则不能提供服务,需要人工修改配置将主变从
- 主从复制的主节点写能力有限
- 单机节点的存储能力也有限
- 主节点出现问题时,需要人工干预执行切换主从命令,无法实现高可用。
哨兵模式
redis主从模式下,主节点一旦发生故障不能提供服务,则需要人工干预,将从节点晋升为主节点,同时还需要修改客户端配置。对于很多应用场景这种方式无法接受。
Sentinel(哨兵)结构解决了redis主从人工干预的问题。
哨兵原理
redis Sentinel是一个分布式系统,redis sentinel为redis提供高可用性,可以在没有人为干预的情况下组织某种类型的故障。
redis 的 sentinel系统用于管理多个redis 服务器,该系统执行一下3个任务:
- 监控(Monitoring)
sentinel会不断的定期检查你的主服务器和从服务器是否运作正常。 - 提醒(Notification)
当被监控的某个redis服务出现问题时,sentinel可以通过api向管理员或者其他应用程序发送通知。 - 自动故障迁移(Automatic failover)
当一个主服务器不能正常工作时,Sentinel会进行一次故障自动迁移,会将失效主服务器的从服务器选举出一个新的主服务器,剩下的从服务器将会自动连接复制选举出来的新服务器的数据。
故障迁移
- 当一个Sentinel发现主服务器下线时,称为主观下线,只有多个Sentinel都发现主服务下线,并相互之间通过命令进行交流判断主服务器下线时,称为客观下线。
- 只有对主服务器进行客观下线时,会选举出领头Sentinel,选举出之后,会进行新的主服务器投票选举,选举出一个从服务器升级为主服务器。并向被选中的从服务器发送Slaveof no one命令,让其变为主服务器,通过发布订阅的功能,将新的配置广播给其他Sentinel进行更新,并向下线的主服务器发送Slaveof命令,让其复制新的主服务器。
- 当所有从服务器都已经开始复制新的主服务器时,领头Sentinel终止本次故障迁移。
Redis Cluster集群
主从复制,哨兵模式都难以在扩容,而redis cluster集群实现了对redis的水平扩容,即启动N个redis节点,每个节点又可以有自己的从服务器,将数据均匀分布的存储在这N个节点上,每个节点存储数据的1/N,redis cluster集群就是一个可以在多个redis节点之间进行数据共享的设施。
redis cluster集群采用的是无中心化配置,
数据分布
分布式数据库首先要解决把整个数据库集按照分区规则映射到多个节点的问题,即把数据集划分到多个节点上,每个节点负责整体数据的一个子集,需要关注的是数据分片规则,Redis Cluster采用哈希分片规则。
数据分片
redis集群使用数据分片(sharding)而非一致性哈希来实现,一个redis集群包含16384 个哈希槽(hash slot),数据库中的每个键都属于这16384个哈希槽的其中一个,集群使用公式CRC16(key) % 16384 来计算键 key 属于哪个槽,集群中的每个节点负责处理一部分哈希槽。 举个例子, 一个集群可以有三个节点, 其中:
- 节点A负责处理 0 号至 5460 号哈希槽。
- 节点B负责处理5461 号至 10922 号哈希槽。
- 节点 C 负责处理 10923 号至 16383 号哈希槽。