在将Spark任务提交到集群(YARN, Spark集群为主)的时候,提供两种提交部署方案: client模式 , cluster模式
本质区别: Spark程序中Driver程序运行在什么位置上
| client模式: Driver程序运行在执行spark-submit所在节点上, 默认就是client模式 |
| 好处:由于Driver是运行在客户端, 当执行完成后, 需要查看结果, 此时executor会将结果返回给Driver, Driver在客户端, 直接应答, 我们直接在客户端看到执行结果 (方便测试) |
| 弊端:由于Driver和executor有可能不在同一个环境中,会导致中间网络传输效率比较低, 从而影响整体的效率 |
在客户端模式下, 不存在Driver的日志, 因为日志是直接输出客户端
此种方式一般在生产环境中不使用, 主要使用在测试环境
cluster模式: Driver程序运行在提交集群所在的某一个节点上
好处: Driver程序和executor都在同一个集群环境中, 在进行传输数据的时候, 可以更大利用内部网络带宽优势, 提升效率
弊端:不方便测试, Driver运行在集群环境中,所有的内容全部都会记录到日志文件中, 无法会给提交的客户端, 所以客户端想要查看结果, 需要看日志
此种方式一般用于生产环境.
图解区别
如何使用两种模式呢?
格式:
cd /export/server/spark/bin
./spark-submit \
--master yarn \
--deploy-mode client | cluster \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
/export/data/workspace/bigdata60_parent/_01_pyspark_base/src/_02_pyspark_wd.py
client 可以在客户端看到结果
演示cluster:
cd /export/server/spark/bin
./spark-submit \
--master yarn \
--deploy-mode cluster \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
/export/data/workspace/bigdata60_parent/_01_pyspark_base/src/_02_pyspark_wd.py
cluster 在客户端看不到输出结果
