搭建hadoop+spark完全分布式集群环境

目录

一、集群规划

二、更改主机名

 三、建立主机名和ip的映射

四、关闭防火墙(master,slave1,slave2)

五、配置ssh免密码登录

六、安装JDK

七、hadoop之hdfs安装与配置

1)解压Hadoop

2)修改hadoop-env.sh

3)修改 core-site.xml

4)修改hdfs-site.xml

5) 修改slave

八、配置hadoop环境变量

九、将hadoop拷贝到其他主机、

十、格式化元数据目录

十一、下载安装spark

十二、配置文件修改

1)复制模板文件

2)配置spark-env.sh(增加环境变量)

3) 配置slaves

4) 将master配置好的spark 拷贝到slave1,slave2

5) 配置环境变量

6)启动与验证

7)提交jar 包并观察验证

一、集群规划

主机名

操作系统

地址

角色

硬件配置

master

Centos

10.1.0.248

namenode

2g 1核

slaver1

Centos

10.1.0.94

datanode

1g 1核

slaver2

Centos

10.1.0.31

datanode

1g 1核

二、更改主机名

分别修改主机名文件(重启永久生效)

sudo vi  /etc/sysconfig/network

 三、建立主机名和ip的映射

sudo vi /etc/hosts

 拷贝到slave1和slave2中

四、关闭防火墙(master,slave1,slave2

关闭防火墙:sudo service iptables stop  

关闭防火墙自启:sudo chkconfig iptables off

五、配置ssh免密码登录

ssh-keygen -t rsa

ssh-copy-id mast

相关推荐

  1. Linux环境Hadoop及完全分布式

    2024-07-13 20:12:01       35 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-13 20:12:01       101 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-13 20:12:01       109 阅读
  3. 在Django里面运行非项目文件

    2024-07-13 20:12:01       87 阅读
  4. Python语言-面向对象

    2024-07-13 20:12:01       96 阅读

热门阅读

  1. C++多态

    C++多态

    2024-07-13 20:12:01      22 阅读
  2. html自学笔记与面试会问到问题

    2024-07-13 20:12:01       22 阅读
  3. 【Go系列】 Go的错误处理

    2024-07-13 20:12:01       23 阅读
  4. 【学习笔记】Redis学习笔记——第13章 客户端

    2024-07-13 20:12:01       24 阅读
  5. 给基于cmake的工程添加uninstall功能

    2024-07-13 20:12:01       25 阅读
  6. js登陆验证

    2024-07-13 20:12:01       22 阅读
  7. Linux学习笔记(二)

    2024-07-13 20:12:01       26 阅读
  8. 2024 暑假友谊赛 1

    2024-07-13 20:12:01       26 阅读
  9. python合并列表的方法

    2024-07-13 20:12:01       27 阅读
  10. 中药学--更新中

    2024-07-13 20:12:01       19 阅读