Redis-cluster集群架构

一、集群架构

        上述集群架构师一个由多个主从节点群组成的分布式服务器,具有复制、高可用和分片的特性。Redis集群不需要sentine哨兵也能完成节点移除和故障转移。官方文档称可以扩展上万个节点。推荐不超过1000个;从节点只担任备份的角色,不承担读写操作;

二、集群原理

        Redis Cluster将所有数据划分为16384个slots(槽位),每个节点负责其中一部分槽位,采薇的信息存储在每个节点中;当Redis Cluster的客户端连接集群时,它也会得到一份集群的槽位配置信息缓存在本地,这样可以根据key值定位到目标节点;槽位与服务端机器不一致问题需要纠正机制来实现槽位校验调整;

1 槽位算法

        HASH SLOT=CRC16(key) mod 16384

2 跳转重定位

        当客户端发出一个错误的节点指令到服务端,该节点会发现指令的key值的槽位并不归自己管理,这是它会向客户端发送一个跳转指令,携带目标节点地址,客户端收到指令后会跳转对应地址并纠正本地槽位映射缓存;

3 Redis集群节点间的通信机制

        节点间采用goss协议进行通信;

        维护集群元数据(集群节点信息,主从角色,节点数量,各节点共享数据等)有两种方式:集中式和gossio;

        集中式:优点在于元数据更新和读取湿陷性好,元数据改变会立即更新到集中式的存储中,缺点是元数据更新集中在一个地方;

        gossio

点对点慢慢通知,及时性差;

4 集群选主的过程

1.slave发现自己的master变为FAIL
2.将自己记录的集群currentEpoc 并广播FAILOVER AUTH REQUEST 信息
3.其他节点收到该信息只有master应,判断请求者的合法性,并发送FAILOVER AUTH ACK,对每一个epoch只发送一次ack
4.尝试failover的slave收集master返回的FAILOVER AUTH ACK

5.silave收到超过半数master的ack后变成新Master(这里解释了集群为什么至少需要三个主节点,如果只有两个,当其中一个挂了,只剩一个主节点是不能选举成功的)

6.slave广播Pong消息通知其他集群节点。

延时发送请求:

DELAY=500ms+random(0-500ms)+ SLAVE RANK*1000ms
'SLAVE RANK表示此slave已经从master复制数据的总量的rank,Rank越小代表已复制的数据越新,这种方式下,持有最新数据的slave将会首先发起选举(埋论上)。

5 集群脑裂问题

        red1s集群没有过半机制会有脑裂问题,网络分区导致脑裂后多个主节点对外提供写服务,一旦网络分区恢复,会将其中一个主节点变为从节点,这时会有大量数据丢失。
规避方法可以在redis配否里加上参数(这种方法不可能百分百避免数据丢失,参考集群leader选举机制):
min-slaves-to-write1 //写数据成功最少同步的s1ave数量,这个数量可以模仿大于半数机制配置,比如集料总共三个节点可以配置1,加上1eader就是2,超过了半数注意:这个配置在一定程度上会影响集群的可用性,比如save要是少于1个,这个集群就算!eader正常也不能提供服务了,需要具体场是权衡选择。

6 集群扩容

        1 节点加入集群(加入后节点默认都是master节点)

        2 槽位重新分配(连接任何机器 发起槽位分配,指定分配数量 ,指定分配到的机器,被分配的节点),数据也会跟着迁移;

        3 加入副本节点,将副本节点指定为刚刚节点的副本节点;

相关推荐

  1. redis cluster定时备份

    2024-04-22 03:08:03       54 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-22 03:08:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-22 03:08:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-04-22 03:08:03       82 阅读
  4. Python语言-面向对象

    2024-04-22 03:08:03       91 阅读

热门阅读

  1. 数字滤波器的设计

    2024-04-22 03:08:03       32 阅读
  2. TRS: Transformers for Remote Sensing Scene Classification

    2024-04-22 03:08:03       32 阅读
  3. 【面经】4月9日 腾讯/csig/腾讯云/一面/1h30m

    2024-04-22 03:08:03       31 阅读
  4. LeetCode 3.无重复字符发最长字串

    2024-04-22 03:08:03       38 阅读
  5. 提高写作效率:ChatGPT写作攻略

    2024-04-22 03:08:03       39 阅读
  6. 修改Ubuntu的镜像源为清华镜像源

    2024-04-22 03:08:03       33 阅读
  7. lv_table

    2024-04-22 03:08:03       31 阅读
  8. 关于UAC标准音频数据传输端点的最大包长问题

    2024-04-22 03:08:03       36 阅读