Linux环境安装Hadoop

(1)下载Hadoop安装包并上传

下载Hadoop安装包到本地,并导入到Linux服务器的/opt/software路径下

(2)解压安装包

解压安装文件并放到/opt/module下面

[root@hadoop100  ~]$ cd /opt/software
[root@hadoop100 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)将Hadoop添加到环境变量

 [root@hadoop100  ~]$ vim /etc/profile.d/hadoop_env.sh

在hadoop_env.sh文件末尾添加如下内容:

 #HADOOP_HOME
 export HADOOP_HOME=/opt/module/hadoop-3.1.3
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出:  :wq

(4)让修改文件生效

  [root@hadoop100 ~]$ source /etc/profile

如果命令还不能让hadoop生效,则重启虚拟机

[root@hadoop100 ~]$ sudo reboot

(5)测试是否安装成功

  [root@hadoop100 ~]$  hadoop version

(6)查看Hadoop目录结构

以下是Hadoop文件中重要的目录:

- bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
- etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
- lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
- sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
- share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例

(7)扩展:本地测试官方案例WordCount

WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。

1)创建测试文件

 [root@hadoop100 ~]$ cd /opt/module/hadoop-3.1.3
 [root@hadoop100 hadoop-3.1.3]$  mkdir wcinput
 [root@hadoop100 hadoop-3.1.3]$  cd wcinput
 [root@hadoop100 wcinput]$   vim word.txt

在文件中输入以下内容:

hadoop yarn
hadoop mapreduce
test
test

保存并退出:  :wq

 2)执行程序

回到Hadoop目录/opt/module/hadoop-3.1.3,执行程序

  [root@hadoop100 wcinput]$   cd ../
  [root@hadoop100 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

命令结构:

hadoop jar  Jar包的路径  Jar包的主类 传递给主类的参数地址  由主类执行后输出的结果地址

3)查看结果

[root@hadoop100 hadoop-3.1.3]$ cat wcoutput/part-r-00000

相关推荐

  1. linux安装hadoop详细步骤

    2023-12-22 08:06:01       40 阅读
  2. Linux环境安装1

    2023-12-22 08:06:01       36 阅读

最近更新

  1. TCP协议是安全的吗?

    2023-12-22 08:06:01       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-22 08:06:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-22 08:06:01       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-22 08:06:01       20 阅读

热门阅读

  1. 静态单赋值(SSA)(只讲形式不讲实现)

    2023-12-22 08:06:01       35 阅读
  2. python类和对象

    2023-12-22 08:06:01       45 阅读
  3. Servlet技术j详解1

    2023-12-22 08:06:01       34 阅读
  4. Hive动态分区和分桶

    2023-12-22 08:06:01       38 阅读
  5. Hive-基础介绍

    2023-12-22 08:06:01       37 阅读
  6. Hive-分区与分桶详解(超详细)

    2023-12-22 08:06:01       34 阅读
  7. redis 实现队列

    2023-12-22 08:06:01       47 阅读
  8. 算法练习Day18 (Leetcode/Python-二叉树)

    2023-12-22 08:06:01       43 阅读
  9. python3+selenium 切换窗口方法

    2023-12-22 08:06:01       39 阅读
  10. 流媒体知识总结

    2023-12-22 08:06:01       43 阅读
  11. 在 Go 语言中使用 regexp 包处理正则表达式

    2023-12-22 08:06:01       34 阅读
  12. Ansible3

    Ansible3

    2023-12-22 08:06:01      40 阅读
  13. css学习笔记5

    2023-12-22 08:06:01       41 阅读