hadoop 问题集

1.  org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

yarn中没有aux的信息。在yarn-site.xml中加入:

<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>

2. Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

/etc/hadoop/mapred-site.xml 中配置hadoop的安装位置

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

相关推荐

  1. hadoop 问题

    2024-01-26 07:38:01       38 阅读
  2. Hadoop-3.3.4群部分lib缺失问题

    2024-01-26 07:38:01       38 阅读
  3. Hadoop

    2024-01-26 07:38:01       17 阅读
  4. Hadoop群安装

    2024-01-26 07:38:01       9 阅读
  5. Hadoop分布式群安装

    2024-01-26 07:38:01       36 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-01-26 07:38:01       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-26 07:38:01       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-26 07:38:01       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-26 07:38:01       18 阅读

热门阅读

  1. com.sun.jna.platform.mac.SystemB$Timeval

    2024-01-26 07:38:01       30 阅读
  2. linux 内核MAC 地址解析

    2024-01-26 07:38:01       32 阅读
  3. nrm-npm包版本管理和详细安装和使用教程

    2024-01-26 07:38:01       35 阅读
  4. 使用uniApp+vue3+Vite4+pinia+sass技术栈构建微信小程序

    2024-01-26 07:38:01       34 阅读
  5. SpringBoot ResponseBodyAdvice使用以及常见问题

    2024-01-26 07:38:01       33 阅读
  6. 前端学习之——react篇(条件渲染)

    2024-01-26 07:38:01       44 阅读
  7. Dockerr开发环境搭建

    2024-01-26 07:38:01       36 阅读
  8. 阿里云centos安装mysql,并修改初始密码

    2024-01-26 07:38:01       42 阅读