Spark 环境安装

Spark 环境安装

一、准备工作

1、hadoop成功安装
2、防火墙关闭

二、解压安装

1、上传 spark 安装包到/opt/soft目录，进入 该目录 下，执行如下命令：

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/src

2、修改名称为spark

三、配置环境变量

vim /etc/profile

export SPARK_HOME=/usr/local/src/spark

export PATH=$PATH:$SPARK_HOME/bin

export PATH=$PATH:$SPARK_HOME/sbin

四、 修改spark-env.sh信息

export JAVA_HOME=/usr/local/src/jdk
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

source /etc/profile

五、 修改配置文件slaves

master

六、 启动spark

1、启动hadoop

start-all.sh

2.启动spark

cd /usr/local/src/spark/sbin/

./start-all.sh

查看http:master:8080

七、查询pi的值

圆周率计算 进入bin目录

./spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi /usr/local/src/spark/examples/jars/spark-examples_2.11-2.1.1.jar