【大数据】HDFS

文章目录

• • @[toc]
  • • HDFS 1.0
    • • NameNode
      • • 维护文件系统命名空间
        • 存储元数据
        • 解决NameNode单点问题
      • SecondaryNameNode
      • 机架感知
      • 数据完整性校验
      • • 校验和
        • 数据块检测程序DataBlockScanner
      • HDFS写流程
      • HDFS读流程
      • HDFS与MapReduce本地模式
      • Block大小
    • HDFS 2.0
    • • NameNode HA
      • NameNode Federation
      • HDFS Snapshot
      • 缓存
      • ACL
      • Block大小

个人主页：丷从心·

系列专栏：大数据

HDFS 1.0

NameNode

维护文件系统命名空间

存储元数据

• 元数据存储在内存中
• 维护文件名$\to Block$、$Block\to DataNode$的映射关系
• 持久化元数据的文件是$fsimage$
• 所有对元数据的操作都保存在内存中并被持久化到文件$editlogs$中
• $editlogs$文件和$fsimage$文件会被$SecondaryNameNode$周期性地合并

解决NameNode单点问题

• 将$Hadoop$元数据写入到本地文件系统的同时再实时同步到一个远程挂载的网络文件系统（$NFS$）中
• 当$NameNode$发生故障时$SecondaryNameNode$会通过自己合并的命名空间镜像$fsimage$副本来恢复$NameNode$，但是$SecondaryNameNode$保存的状态总是滞后于$NameNode$，难免会丢失部分数据

SecondaryNameNode

• $NameNode$在下次重启时会使用新的$fsimage$文件，从而减少重启时间

机架感知

• 机架感知是$Block$副本放置策略
• 第一个副本放在客户端节点，如果客户端是集群外的一台机器，就随机选择节点，但是会避免挑选太满或者太忙的节点
• 第二个副本放在不同机架的节点
• 第三个副本放在与第二个副本同机架但是不同节点上

数据完整性校验

校验和

• 在第一次进入系统时计算数据的校验和，在通道传输后，如果新生成的校验和不完全匹配原始的校验和，那么数据就会被认为是损坏的

数据块检测程序DataBlockScanner

• 在$DataNode$节点上开启一个后台线程，来定期验证存储在它上的所有块，防止物理介质出现损减而造成的数据损坏
• 一旦发现数据块损坏，$DataNode$会接收到$NameNode$发送的$Block$修复指令

HDFS写流程

• $FSDataOutputStream$将原始数据切分成数据块并写入一个队列
• 数据弱一致性：第一个副本写入后就立刻返回$ACK$

HDFS读流程

HDFS与MapReduce本地模式

• 数据不移动，代码逻辑移动

Block大小

• $HDFS1.0$默认$Block$大小为$64MB$

HDFS 2.0

NameNode HA

• 运行$ActiveNameNode$与$StandbyNameNode$的机器需要相同的硬件配置
• $JournalNode$本质是共享的网络文件系统，由奇数个节点组成，用于存储$editlogs$
• $FailoverController$本质是$ZooKeeper$的客户端，监控$NameNode$状态信息，实现故障转移

NameNode Federation

• $NameNodeFederation$本质是命名空间的分离，解决了$NameNode$内存资源不足的问题
• 一个$Namespace$对应一个$BlockPool$，即一个$Namespace$下的所有$Block$的集合
• 通过视图文件系统$ViewFS$管理全局$Namespace$

HDFS Snapshot

• $Snapshot$常用来作为数据备份
• $Snapshot$只记录了文件系统元数据信息，并没有进行数据的拷贝

缓存

• $HDFS2.0$支持集中式缓存，可以明确指定要缓存数据
• 支持对非递归目录和文件的缓存

ACL

• $HDFS2.0$支持$ACL$管理

Block大小

• $HDFS2.0$默认$Block$大小为$128MB$