HDFS NFS Gateway(环境配置,超级详细!!)

HDFS NFS Gateway简介:

​ HDFS NFS Gateway是Hadoop Distributed File System(HDFS)中的一个组件,它允许客户端通过NFS(Network File System,网络文件系统)与HDFS进行交互。具体来说,HDFS NFS Gateway允许客户端像访问本地文件系统一样挂载和访问HDFS文件系统,支持上传,下载,删除,追加内容,有点类似于windows的文件共享。下面正文即开始讲解该组件的功能使用,以及配置

正文

以图片的方式描述NFS,让读者能更好的理解!

​ 如下图,将HDFS挂载为windows文件管理器的网络位置

在这里插入图片描述

在这里插入图片描述

hadoop内容

在这里插入图片描述

一,配置NFS

配置HDFS需要配置如下内容

core-site.xml,新增配置项以及hdfs-site.xml,新增配置项

开启protmap,nfs3两个进程

在root1进行如下操作

1.在core-site.xml内新增如下两项

在这里插入图片描述

2.在hdfs-site.xml中新增如下项

在这里插入图片描述

nfs.suerpser:NFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)

nfs.dump.dir:NFS接受数据上传时使用的临时目录

nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限,rw表示读写,ip整体活部分可以*代替

上面写的192.168.88.1以rw连接(这个是电脑虚拟网卡VMnet8的IP,与虚拟机通讯就走这个网卡)

在这里插入图片描述

二,启用NFS功能

1.将配置好的core-site.xml和hdfs-site.xml分发到root2和root3

在这里插入图片描述

2.重启Hadoop HDFS集群(先stop-dfs.sh然后start-dfs.sh)

在这里插入图片描述

3.停止系统的NFS相关进程

systemctl stop nfs;systemctl disable nfs 关闭系统nfs并关闭其开机自启

在这里插入图片描述

4.启动portmap(HDFS自带的rpcbind功能)(必须root执行):hdfs --daemon start portmap

在这里插入图片描述

5.启动nfs(HDFS自带的nfs功能)(必须以hadoop用户执行):hdfs --daemon start nfs3

在这里插入图片描述

6.最后启动HDFS集群

检查NFS是否正常

以下操作在root2或root3执行(因为root1卸载了rpcbind,缺少了必要的2个命令)

执行:rpcinfo -p root1,正常输出如下

在这里插入图片描述

执行showmount -e root1

可以看到 / 192.168.88.1

在这里插入图片描述

这样就是表示正常了

三,在windows挂载HDFS文件系统(windows必须是专业版)

1.开启windows的NFS功能

在这里插入图片描述

2.在windows挂载HDFS文件系统并访问

在windows命令提示符cmd输入net use X:\192.168.88.101!

在这里插入图片描述

总结

到这里这个HDSF NFS就完全部署完成了,希望该文章能有有效的帮助到大家,如有不懂的,可留言,来帮你解决剩下的疑难问题

相关推荐

最近更新

  1. TCP协议是安全的吗?

    2023-12-21 10:56:01       19 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-21 10:56:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-21 10:56:01       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-21 10:56:01       20 阅读

热门阅读

  1. Vite 打包时修改静态资源的路径

    2023-12-21 10:56:01       42 阅读
  2. 服务器不稳定因素

    2023-12-21 10:56:01       36 阅读
  3. Python基础语法:使用Python编写一个简单的计算器

    2023-12-21 10:56:01       40 阅读
  4. Linux 内核参数:vmallocinfo

    2023-12-21 10:56:01       48 阅读
  5. 数组深入学习感悟

    2023-12-21 10:56:01       50 阅读
  6. 《微信小程序开发从入门到实战》学习五十七

    2023-12-21 10:56:01       40 阅读
  7. 讲诉JVM

    2023-12-21 10:56:01       37 阅读
  8. QML基础类型之Size - 编程指南

    2023-12-21 10:56:01       40 阅读
  9. qiankun(乾坤)微前端框架简介

    2023-12-21 10:56:01       28 阅读
  10. 基于分裂Bregman算法的图像去噪实现

    2023-12-21 10:56:01       40 阅读