Hadoop3:HDFS副本节点选择逻辑讲解

一、副本节点选择(机架感知)

在这里插入图片描述
说明
第一个副本,因为我们的client可能是web页,也可能是shell终端
如果是web页,则随机选取一个节点,如果是shell终端,则选择当前shell终端所在的节点。
节点距离最近,保证了性能。

第二个副本,选择机架2n0节点,为了保证数据的可靠性

第三个副本,为什么不选择机架3上的节点呢?
因为,第二个副本已经保证了可靠性,所以,第三副本,更注重性能,所以,根据节点距离最近原则,选择机架2n1节点

二、两个节点间距离计算

1、什么是机架式服务器?

每个机架式服务器,独立配备一个交换机,机架里面,是一台台独立的服务器。
类似下图
在这里插入图片描述

2、节点距离计算

节点距离:两个节点到达最近的共同祖先节点的距离总和。
在这里插入图片描述
情况1:
集群中,任何一个节点,到自身的距离,是0
在这里插入图片描述
情况2
同一个机架上的服务器,共同的祖先节点,就是这台机架
n1到机架的距离为1,n2到机架的距离为1,所以,距离为2
在这里插入图片描述
依次类推,应该明白后面两个的计算逻辑了。

当然,不一定所有的集群节点分布都是上图这种树形结构。
例如下图
在这里插入图片描述
此时
节点5到节点9的距离就是3
节点10到节点2的距离就是3

相关推荐

  1. Hadoop-HDFS-S3HDFS 和存储对象 S3 的对比

    2024-05-16 08:06:11       50 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-05-16 08:06:11       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-05-16 08:06:11       100 阅读
  3. 在Django里面运行非项目文件

    2024-05-16 08:06:11       82 阅读
  4. Python语言-面向对象

    2024-05-16 08:06:11       91 阅读

热门阅读

  1. Hadoop、MapReduce、YARN和Spark的区别与联系

    2024-05-16 08:06:11       34 阅读
  2. Spring的IOC(Inversion of Control)设计模式

    2024-05-16 08:06:11       27 阅读
  3. AI学习指南概率论篇-贝叶斯推断

    2024-05-16 08:06:11       34 阅读
  4. qt的udp通讯

    2024-05-16 08:06:11       26 阅读
  5. AI学习指南数学工具篇-PCA的数学原理

    2024-05-16 08:06:11       33 阅读
  6. 服务器出现故障该怎么办?

    2024-05-16 08:06:11       37 阅读
  7. 三种方法进行跨服务器文件传输

    2024-05-16 08:06:11       33 阅读
  8. 用scp将文件夹从一个服务器备份到另一个服务器

    2024-05-16 08:06:11       31 阅读