sparkctl x86/arm不同平台编译使用

目录

1.sparkctl简介

2.环境准备

3.sparkctl编译


1.sparkctl简介

sparkctl是 Spark Operator 的一个命令行工具,用于创建、列出、检查状态、获取日志和删除SparkApplication。它还可以进行从本地端口到 Spark Web UI 端口的端口转发,以访问驱动程序上的 Spark Web UI。每个功能都是作为子命令实现的sparkctl

以下全局标志可用于所有子命令:

  • --namespace:(s) 的 Kubernetes 命名空间SparkApplication。默认为default.
  • --kubeconfig:访问 Kubernetes API 服务器的配置文件的路径。默认为 $HOME/.kube/config

创建

createsparkctl是用于创建对象的子命令SparkApplication。创建对象有两种方法SparkApplication。一种是在给定 YAML 文件SparkApplication指定的命名空间中解析并创建对象。--namespace这样就create解析了YAML文件,并将解析后的SparkApplication对象发送到Kubernetes API服务器。这种方式的用法如下所示:

用法:

$ sparkctl create <path to YAML file>

另一种方法是SparkApplication从命名创建对象ScheduledSparkApplication以手动强制运行ScheduledSparkApplication.这种方式的用法如下所示:

用法:

$ sparkctl create <name of the SparkApplication> --from <name of the ScheduledSparkApplication>

create命令还支持将本地 Hadoop 配置文件传送到驱动程序和执行程序 Pod 中。具体来说,它会检测位于环境变量指定的路径中的本地 Hadoop 配置文件HADOOP_CONF_DIR,从这些文件创建 Kubernetes ConfigMap,并将其添加到ConfigMap对象中SparkApplication,以便操作员将其安装到驱动程序和执行程序 Pod 中。环境变量HADOOP_CONF_DIR也在驱动程序和执行程序容器中设置。

暂存本地依赖项

create命令还支持暂存本地应用程序依赖项,但目前仅支持上传到 Google Cloud Storage (GCS) 存储桶。其工作方式如下。它检查解析对象中的spec.mainApplicationFilespec.deps.jarsspec.deps.files等是否存在任何本地依赖关系SparkApplication。如果是这样,它会尝试将本地依赖项上传到 指定的远程位置--upload-to。如果使用本地依赖项但未--upload-to指定,该命令将失败。默认情况下࿰

相关推荐

  1. sparkctl x86/arm不同平台编译使用

    2024-04-25 05:56:01       15 阅读
  2. 编译gdb:在x86虚拟机上,加载分析arm程序及崩溃

    2024-04-25 05:56:01       13 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-25 05:56:01       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-25 05:56:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-25 05:56:01       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-25 05:56:01       20 阅读

热门阅读

  1. PyTorch库中item()函数的作用(python)

    2024-04-25 05:56:01       13 阅读
  2. python安装第三方包

    2024-04-25 05:56:01       14 阅读
  3. 搭建最新tensorflow 与pytorch环境

    2024-04-25 05:56:01       12 阅读
  4. 本地wsl的Ubuntu安装docker,不使用docker桌面版

    2024-04-25 05:56:01       16 阅读
  5. spring的扩展接口

    2024-04-25 05:56:01       14 阅读
  6. python实现爬虫例子2

    2024-04-25 05:56:01       12 阅读
  7. 十八、QGIS的作用和下载

    2024-04-25 05:56:01       13 阅读
  8. pandas保存dict字段再读取成DataFrame

    2024-04-25 05:56:01       14 阅读