Spark Standalone 集群配置

前言

平时工作中主要用 YARN 模式,最近进行TPC测试用到了 Standalone 模式,便记录总结一下 Standalone 集群相关的配置。

集群管理类型

Spark 支持三种集群管理类型:

  • Standalone - Spark附带的一个简单的集群管理器,可以轻松地设置集群。
  • Apache Mesos - 一个通用的集群管理器,也可以运行HadoopMapReduce和服务应用程序。(已弃用)
  • Hadoop YARN - Hadoop 3中的资源管理器。
  • Kubernetes - 一个用于自动化容器化应用程序的部署、扩展和管理的开源系统。
    官方文档:https://spark.apache.org/docs/latest/cluster-overview.html

官方文档

https://spark.apache.org/docs/latest/spark-standalone.html

安装包

因为TPC不支持 Spark3 ,所以用的 Spark2.4.8

相关推荐

  1. Spark Standalone 配置

    2024-02-08 11:36:01       55 阅读
  2. 配置redis伪

    2024-02-08 11:36:01       35 阅读
  3. 000003 - Hadoop配置

    2024-02-08 11:36:01       26 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-08 11:36:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-08 11:36:01       101 阅读
  3. 在Django里面运行非项目文件

    2024-02-08 11:36:01       82 阅读
  4. Python语言-面向对象

    2024-02-08 11:36:01       91 阅读

热门阅读

  1. pytorch张量和numpy数组相互转换

    2024-02-08 11:36:01       59 阅读
  2. Apollo2.2.0 arm 达梦 人大金仓 适配

    2024-02-08 11:36:01       58 阅读
  3. Node.js_基础知识(全局变量)

    2024-02-08 11:36:01       40 阅读
  4. 【Flask + AI】接入CHATGLM API 实现翻译接口

    2024-02-08 11:36:01       66 阅读
  5. #Js篇:字符串的使用方法es5和es6

    2024-02-08 11:36:01       53 阅读
  6. 制作jdk17+pinpoint-agent基础镜像

    2024-02-08 11:36:01       52 阅读
  7. npm后Truffle找不到命令(ubantu20系统)

    2024-02-08 11:36:01       55 阅读
  8. 初识Django,以及路由设置

    2024-02-08 11:36:01       48 阅读
  9. 51单片机精进之路-1点亮led灯

    2024-02-08 11:36:01       51 阅读
  10. 7、Qt5开发及实列(笔记)

    2024-02-08 11:36:01       54 阅读