Hadoop之HDFS分布式文件系统

HDFS简介

Hadoop Distributed File System (HDFS): HDFS 是 Hadoop 的分布式文件系统,它设计用于存储大量数据,并提供 高吞吐率的数据访问,通过将数据分块存储在多个节点上,实现数据的冗余存储和容错。

HDFS重要概念

HDFS 通过统一的命名空间目录树来定位文件; 另外,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色(分布式本质是拆分,各司其职)。

  • 典型的Master/Slave架构

HDFS集群往往是一个NameNode(HA架构会有两个NameNode,联邦机制)+多个DataNode组成。

  • 分块存储(block机制)

HDFS 中的文件在物理上是分块存储(block)的,块的大小可以通过配置参数来规定。

  • 命名空间(NameSpace)

HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动。

Namenode 负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被

Namenode 记录下来。

  • NameNode元数据管理

NameNode负责存储文件的元数据,比如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限ÿ

相关推荐

  1. HadoopHDFS分布式文件系统

    2024-06-12 15:18:02       28 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-12 15:18:02       91 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-12 15:18:02       97 阅读
  3. 在Django里面运行非项目文件

    2024-06-12 15:18:02       78 阅读
  4. Python语言-面向对象

    2024-06-12 15:18:02       88 阅读

热门阅读

  1. DevOps的原理及应用详解(三)

    2024-06-12 15:18:02       39 阅读
  2. 【日常记录】Jackson如何支持org.joda.time.DateTime

    2024-06-12 15:18:02       20 阅读
  3. 力扣-2225

    2024-06-12 15:18:02       22 阅读
  4. Lua 基础 05 时间

    2024-06-12 15:18:02       29 阅读
  5. leetcode刷题记录38-16. 最接近的三数之和

    2024-06-12 15:18:02       25 阅读
  6. 高低温测试发现文件被篡改

    2024-06-12 15:18:02       32 阅读
  7. 架构设计-如何安全地传输密码

    2024-06-12 15:18:02       25 阅读
  8. 【名词解释】Unity中的Scrollbar组件及其使用示例

    2024-06-12 15:18:02       36 阅读
  9. 大数据的定义特点与应用场景?

    2024-06-12 15:18:02       33 阅读
  10. 网络数据库后端面试题

    2024-06-12 15:18:02       29 阅读
  11. c++:回顾(一)

    2024-06-12 15:18:02       34 阅读
  12. 杂项——编码器控制小车走固定距离(stm32)

    2024-06-12 15:18:02       36 阅读
  13. 2833.距离原点最远的点

    2024-06-12 15:18:02       33 阅读
  14. 亚马逊云服务器价格贵不贵?

    2024-06-12 15:18:02       31 阅读