利用hdfs gateway挂载NFS到本地

HDFS NFS Gateway

HDFS提供了基于NFS(Network File System)的插件,可以对外提供NFS网关,供其它系统挂载使用。
NFS网关支持NFSv3,并允许将HDFS作为客户机本地文件系统的一部分挂载,现在支持:
·上传、下载、删除、追加内容
我们通过NFS网关可以将hdfs文件系统挂在为网络磁盘的形式,这样就可以像操作本地磁盘一样操作上面的数据

利用hdfs gateway挂载NFS

配置HDFS需要配置如下内容:

  1. core-site.xml,新增配置项以及hdfs-site.xml,新增配置项
    core-site.xml中新增:
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>

第一个配置项表示允许hadoop用户代理任何其他用户组,第二个标识允许代理服务器的请求

2.在hdfs-site.xml中新增如下项

<property>
<name>nfs.superuser</name>
<value>hadoop</value>
</property>
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>

<property>
<name>nfs.exports.allowed.hosts</name>
<value>192.168.88.1 rw</value>
</property>
  • nfs.suerpser:NFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)
  • nfs.dump.dir:NFS接收数据上传时使用的临时目录
  • nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限,rw表示读写,IP整体或部分可以以*代替
  1. 开启portmap、nfs3两个新进程
    启动NFS功能
    1.将配置好的core-site.xml和hdfs-site.xml分发到node2和node3
    2.重启Hadoop HDFS集群(先stop-dfs.sh,后start-dfs.sh)
    3.停止系统的NFS相关进程
    a.systemctl stop nfs;systemctl disable nfs
    关闭系统nfs并关闭其开机自启
    b.yum remove-y rpcbind卸载系统自带rpcbind
    4.启动portmap(HDFS自带的rpcbind功能)(必须以root执行):hdfs-daemon start portmap
    5.启动nfs(HDFS自带的nfs功能)(必须以hadoop.用户执行):hdfs–daemon start nfs.3

相关推荐

  1. 利用hdfs gateway挂载NFS本地

    2024-04-08 13:34:02       11 阅读
  2. vmware挂载本地目录虚拟机

    2024-04-08 13:34:02       8 阅读
  3. ubuntu 自动挂载NFS配置

    2024-04-08 13:34:02       32 阅读
  4. Linux nfs挂载失败处理

    2024-04-08 13:34:02       25 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-08 13:34:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-08 13:34:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-08 13:34:02       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-08 13:34:02       20 阅读

热门阅读

  1. GitOps是DevOps的下一个风口吗?

    2024-04-08 13:34:02       13 阅读
  2. FDA 上市库 Mini | 药物筛选 | MCE

    2024-04-08 13:34:02       15 阅读
  3. HyperBus协议--HyperFLASH中Program Suspend 功能的理解

    2024-04-08 13:34:02       14 阅读
  4. 3.9 Python格式化字符串

    2024-04-08 13:34:02       11 阅读
  5. 蓝桥杯练习题 —— 圆的面积(python)

    2024-04-08 13:34:02       12 阅读
  6. abc348 D~F题解

    2024-04-08 13:34:02       16 阅读
  7. wpf Validation.ErrorTemplate

    2024-04-08 13:34:02       11 阅读
  8. 什么是存储服务器?

    2024-04-08 13:34:02       12 阅读
  9. 人机协同会带来基础领域的新的科技革命

    2024-04-08 13:34:02       10 阅读