Spark 集群搭建

搭建前准备

下载地址：Index of /dist/spark (apache.org)

配置好 hadoop 环境，hdfs 和 yarn 服务正常可以启动

start-dfs.sh
start-yarn.sh

安装搭建

解压并重命名

将 Spark 压缩包解压，解压后重命名

tar -zxvf software/spark-3.5.0-bin-hadoop3.tgz -C /opt/
mv /opt/spark-3.5.0-bin-hadoop3 /opt/spark-3.5.0

环境变量配置

vim /etc/profile.d/spark.sh

配置内容：

# SPARK_HOME
export SPARK_HOME=/opt/spark-3.5.0
export PATH=$PATH:$SPARK_HOME/bin

刷新一下环境变量

source /etc/profile

配置文件

# 进入到 hadoop 配置目录下
cd $HADOOP_HOME/etc/hadoop/
# 对 yarn-site.xml 文件进行配置
vim yarn-site.xml

yarn-site.xml

	<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉默认是true -->
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>
	<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>

spark-env.sh

# 进入到 hadoop 配置目录下
cd $SPARK_HOME/conf
# 复制配置文件模板
cp spark-env.sh.template spark-env.sh
# 编辑配置文件 
vim spark-env.sh

配置内容：（添加到末尾处，也可也直接输入 O 在第二行添加）

YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop/

官网求 π(PI) 案例

启动 yarn

start-dfs.sh
start-yarn.sh

进入到 Spark 目录下

cd $SPARK_HOME

执行 spark 求 π 案例

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.5.0.jar 10

运行成功可以看到

Pi is roughly 3.1425711425711427

启动spark-shell

提示：启动后不要关闭

 # 进入到 spark 文件路径下
 bin/spark-shell

通过浏览器查看显示

查看 Spark 的网页信息展示

浏览器地址：hadoop102:4040 （为配置 IP 映射填 hadoop102 地址）