【Hadoop】修改YARN配置文件

本节需要修改的 YARN 配置文件保存在$HADOOP_HOME/etc/haoop 目录下，需要修改的文件共有 7 个，分别是：core-site.xml, hadoop-env.sh, hdfs-site.xml, yarn-site.xml, yarn-env.sh, mapred-site.xml, slave. 这些文件的用途：

• core-site.xml:

  • 用途：包含 Hadoop 核心配置，例如文件系统的默认URI、Hadoop运行时环境的全局设置等。

  • 示例配置项：

    <configuration>
      <property>
        <!--指定默认的文件系统。在这里，它设置为 HDFS 的地址 hdfs://hadoop1:9000 -->
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
      <!-- 其他配置项 -->
    </configuration>
    

• hadoop-env.sh:

  • 用途：配置 Hadoop 环境变量，例如 Java 路径、内存设置等。

  • 示例配置项：

    export JAVA_HOME=/path/to/java
    export HADOOP_HEAPSIZE=1024
    # 其他环境变量配置
    

• hdfs-site.xml:

  • 用途：包含 Hadoop 分布式文件系统（HDFS）的配置，如数据块大小、复本数等。

  • 示例配置项：

    <configuration>
      <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop1:9001</value>
      </property>
      <property>
        <!-- 指定数据块的默认复制因子。在这里，设置为 3，表示每个数据块会被复制到三个节点上-->
        <name>dfs.replication</name>
        <value>3</value>
      </property>
         <!-- 其他配置项 -->
    </configuration>
    

• yarn-site.xml:

  • 用途：包含 YARN（Yet Another Resource Negotiator）配置，例如 ResourceManager 地址、NodeManager 的资源配置等。

  • 示例配置项：

    <configuration>
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
      </property>
      <!-- 其他配置项 -->
    </configuration>
    

• yarn-env.sh:

  • 用途：配置 YARN 环境变量，例如 Java 路径、内存设置等。

  • 示例配置项：

    export JAVA_HOME=/path/to/java
    export YARN_HEAPSIZE=1024
    # 其他环境变量配置
    

• mapred-site.xml:

  • 用途：包含 MapReduce 配置，如 MapReduce 框架的运行模式、任务跟踪器地址等。使用的时候可以先从模板中复制，然后再编辑。

  • 示例配置项：

    <configuration>
    	<property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>hadoop1:10020</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>hadoop1:19888</value>
        </property>
    </configuration>
    

• slaves:

  • 用途：列出参与 Hadoop 集群的计算节点（DataNode、NodeManager）。每行一个节点。

  • 示例：

    hadoop1
    hadoop2
    hadoop3