上传文件到HDFS

1.创建文件夹

hdfs -dfs -mkdir -p /opt/mydoc

2.查看创建的文件夹

hdfs -dfs -ls /opt

注意改文件夹是创建在hdfs中的,不是本地,查看本地/opt,并没有该文件夹。

3.上传文件

hdfs dfs -put -f file:///usr/local/testspark.txt hdfs://master:9000/opt/mydoc

4.查看上传的文件

hdfs dfs -ls /opt/mydoc

也可以在浏览器中查看

5.遇到的问题

mkdir: ‘/opt/mydoc‘: Input/output error 

应该是hdfs配置的问题,一开始在安装spark环境时没有配置hadoop相关文件,参考Spark Standalone模式部署-CSDN博客第三章,安装配置好hadoop并启动,再次执行上述命令时,成功。

相关推荐

  1. 【SpringBoot】文件阿里云

    2024-04-22 20:52:03       58 阅读
  2. 文件阿里云

    2024-04-22 20:52:03       39 阅读
  3. golang文件ftp服务器

    2024-04-22 20:52:03       44 阅读
  4. 文件阿里云

    2024-04-22 20:52:03       22 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-22 20:52:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-22 20:52:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-04-22 20:52:03       82 阅读
  4. Python语言-面向对象

    2024-04-22 20:52:03       91 阅读

热门阅读

  1. 4.15 day6 ARM

    2024-04-22 20:52:03       41 阅读
  2. pytorch 多进程数据加载 - 序列化数据/serialize_data

    2024-04-22 20:52:03       32 阅读
  3. ERESOLVE overriding peer dependency npm install错误

    2024-04-22 20:52:03       35 阅读
  4. ChatGPT改写:论文写作新时代

    2024-04-22 20:52:03       40 阅读