Spark学习——不同模式下执行脚本

举个简单的例子:使用spark官方用例"取pi值"

一、local模式

进入spark目录执行后台命令:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[*] \
./examples/jars/spark-examples_2.12-3.2.1.jar \
10

运行结果
在这里插入图片描述

二、yarn模式

由于默认情况下,Spark作业只有在运行是可以通过web UI进行查看执行情况,任务一旦执行完,就看不了了,所以为了避免这种情况,我们通过配置历史进程将历史记录保存起来,仍可以在spark上查看。
【注意】:hadoop 3.0 端口号8020要改为 9000

1、配置spark-default.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop100:9000/directory
spark.yarn.historyServer.address=hadoop100:18080
spark.history.ui.port=18080

2、配置spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop100:9000/directory
-Dspark.history.retainedApplications=30"

3、开启历史进程
sbin/start-history-server.sh

进入spark目录执行后台命令:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.2.1.jar \
10

控制台运行结果:
在这里插入图片描述
可以通过yarn上的历史记录查到spark的执行记录
在这里插入图片描述
会自动跳转到spark的界面,更方便
在这里插入图片描述

相关推荐

  1. Iceberg: COW模式的MERGE INTO的执行流程

    2024-06-12 09:04:04       35 阅读
  2. 4、Flink执行模式(流/批)详解(

    2024-06-12 09:04:04       14 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-12 09:04:04       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-12 09:04:04       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-12 09:04:04       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-12 09:04:04       18 阅读

热门阅读

  1. PHP 中如何高效地处理大规模数据的排序?

    2024-06-12 09:04:04       9 阅读
  2. 【深度学习】【NLP】Bert理论,代码

    2024-06-12 09:04:04       6 阅读
  3. Python中实现高效缓存机制的探索与实践

    2024-06-12 09:04:04       9 阅读
  4. Web前端教程165:深入探索Web前端技术的奥秘

    2024-06-12 09:04:04       9 阅读
  5. Unity3D MMORPG背包系统数据获取与通讯详解

    2024-06-12 09:04:04       8 阅读
  6. 设计模式之外观模式

    2024-06-12 09:04:04       10 阅读
  7. pyautogui 等待元素出现的方法

    2024-06-12 09:04:04       10 阅读
  8. app-ios 内嵌h5的缓存问题

    2024-06-12 09:04:04       6 阅读