【Jenkins】Spark on Yarn 部署脚本


✔️ 目标:提供 Jenkins 脚本,用于 在 Jenkins 中实现 Spark 任务提交到 YARN 及重启操作。

停止 Yarn 集群中的 Spark 应用

Shell 脚本

# 停止spark应用(仅支持一个yarn应用,如果跑了多个应用,会报错)
ssh root@192.168.1.100 "yarn application -list > current_spark_task; cat current_spark_task | grep -o -e ^application_.*_[0-9]* | xargs --no-run-if-empty yarn application -kill"

基础知识
1、 利用 yarn application -list 打印出正在运行的任务,得到 Application ID。

相关推荐

  1. Linux自动化部署脚本

    2024-03-22 06:46:05       57 阅读
  2. Redis自动部署脚本编写

    2024-03-22 06:46:05       55 阅读
  3. 编写CI/CD自动化部署脚本

    2024-03-22 06:46:05       62 阅读
  4. 多个Nginx虚拟主机部署脚本

    2024-03-22 06:46:05       49 阅读
  5. 【Jenkins】Spark on Yarn 部署脚本

    2024-03-22 06:46:05       40 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-22 06:46:05       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-22 06:46:05       106 阅读
  3. 在Django里面运行非项目文件

    2024-03-22 06:46:05       87 阅读
  4. Python语言-面向对象

    2024-03-22 06:46:05       96 阅读

热门阅读

  1. AUTOSAR XML(通常称为ARXML)

    2024-03-22 06:46:05       41 阅读
  2. 3/21 work

    3/21 work

    2024-03-22 06:46:05      38 阅读
  3. Vue3:路由vue-router的使用

    2024-03-22 06:46:05       41 阅读
  4. 如何在MySQL 8.0版本中开启远程登录

    2024-03-22 06:46:05       37 阅读
  5. TikCloud天玑云微服务技术选型

    2024-03-22 06:46:05       45 阅读
  6. zoom 在 css中的用法

    2024-03-22 06:46:05       39 阅读