【Hadoop】如何给hadoop集群增加一个队列

在 Apache Hadoop 中,队列的概念通常与资源管理器(ResourceManager)和队列管理器(Queue Manager)相关联。ResourceManager 是 Hadoop 的一个关键组件,用于管理集群资源,并将这些资源分配给不同的应用程序。队列管理器则用于配置和管理不同应用程序使用的队列。

下面是在 Hadoop 中创建队列的一般步骤:

配置队列: 您需要编辑 Hadoop 的配置文件来定义队列。这通常包括编辑 capacity-scheduler.xml 文件。在这个文件中,您可以定义多个队列,并为每个队列分配资源配额、优先级等属性。以下是一个简单的配置示例:

  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,wa</value>
    <description>
      The queues at the this level (root is the root queue).
    </description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.wa.capacity</name>
    <value>90</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>10</value>
    <description>Default queue target capacity.</description>
  </property>

在defult队列基础之上增加一个wa队列,修改完配置文件之后,需要重载配置文件。

yarn rmadmin -refreshQueues

相关推荐

  1. Hadoop如何hadoop增加一个队列

    2024-02-21 07:28:02       51 阅读
  2. Hadoop

    2024-02-21 07:28:02       32 阅读
  3. Hadoop安装

    2024-02-21 07:28:02       25 阅读
  4. Hadoop分布式安装

    2024-02-21 07:28:02       52 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-21 07:28:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-21 07:28:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-02-21 07:28:02       82 阅读
  4. Python语言-面向对象

    2024-02-21 07:28:02       91 阅读

热门阅读

  1. 使用apoc将数据从数据库导入neo4j

    2024-02-21 07:28:02       47 阅读
  2. 小脑萎缩患者平时生活中应该注意哪些?

    2024-02-21 07:28:02       49 阅读
  3. 【clickhouse笔记】 查询表或列的磁盘占用大小

    2024-02-21 07:28:02       55 阅读
  4. 高速自动驾驶智慧匝道(HIC)系统功能规范

    2024-02-21 07:28:02       63 阅读
  5. 小程序怎么开发?怎么开发自己的小程序

    2024-02-21 07:28:02       60 阅读
  6. 使用 openssl 进行哈希计算

    2024-02-21 07:28:02       52 阅读