在 Apache Hadoop 中,队列的概念通常与资源管理器(ResourceManager)和队列管理器(Queue Manager)相关联。ResourceManager 是 Hadoop 的一个关键组件,用于管理集群资源,并将这些资源分配给不同的应用程序。队列管理器则用于配置和管理不同应用程序使用的队列。
下面是在 Hadoop 中创建队列的一般步骤:
配置队列: 您需要编辑 Hadoop 的配置文件来定义队列。这通常包括编辑 capacity-scheduler.xml 文件。在这个文件中,您可以定义多个队列,并为每个队列分配资源配额、优先级等属性。以下是一个简单的配置示例:
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default,wa</value>
<description>
The queues at the this level (root is the root queue).
</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.wa.capacity</name>
<value>90</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>10</value>
<description>Default queue target capacity.</description>
</property>
在defult队列基础之上增加一个wa队列,修改完配置文件之后,需要重载配置文件。
yarn rmadmin -refreshQueues