Hadoop提交MR任务

MR作为Hadoop自带的计算框架所运行的任务,它本身通过hadoop jar提交

hadoop jar mr任务jar包路径 你要运行的类的全限定名 后面就是你需要传的参数

但是有些时候你需要显示的修改指定这个任务运行时所用的资源数,就可以通过下面的命令指令

hadoop jar your-hadoop-job.jar com.example.YourJobDriver \
    -D mapreduce.map.memory.mb=2048 \
    -D mapreduce.map.java.opts=-Xmx1638m \
    -D mapreduce.reduce.memory.mb=4096 \
    -D mapreduce.reduce.java.opts=-Xmx3276m \
    -D mapreduce.job.inputdir=/path/to/input/data \
    -D mapreduce.job.outputdir=/path/to/output/directory \
    arg1 arg2 arg3

your-hadoop-job.jar 是你的Hadoop作业的JAR文件。
com.example.YourJobDriver 是你的作业驱动程序的完全限定类名。
-D 选项用于设置Hadoop配置参数。
mapreduce.map.memory.mb=2048 设置每个Map任务的内存为2048MB。
mapreduce.map.java.opts=-Xmx1638m 这个是设置Map任务暂用JVM堆内存大小为1638MB(留一些内存给JVM进程本身)。
mapreduce.reduce.memory.mb=4096 设置每个Reduce任务的内存为4096MB。
mapreduce.reduce.java.opts=-Xmx3276m 设置Reduce任务的JVM堆内存大小为3276MB。
-D mapreduce.job.inputdir=/path/to/input/data 设置输入目录。
-D mapreduce.job.outputdir=/path/to/output/directory 设置输出目录。注意,这个目录在作业运行前应该不存在,因为Hadoop会尝试创建它。
arg1 arg2 arg3 是传递给main方法的参数。

注意,上面通过-d来指定参数的方式,只能指定作业的通用配置,而那些详细的,比如你要用多少个map?在你的MapReduce作业代码中,你可以通过调用job.setNumMapTasks(int num)来设置Map任务的个数。这个num参数就是你想要的Map任务的数量。reduce个数也是一样的通过job.setNumReduceTasks(5)修改。以及如果你想要大概的控制任务所用到的总资源,那还要配和集群的配置文件完成。所以,在控制资源上MR任务本身就比较麻烦,不像其他的框架提交yarn那样可以直接指定运行资源

相关推荐

  1. Hadoop提交MR任务

    2024-06-15 10:48:02       29 阅读
  2. 2024任务驱动Hadoop应用讲课提纲

    2024-06-15 10:48:02       40 阅读
  3. Hadoop3:MR程序压测实验

    2024-06-15 10:48:02       22 阅读
  4. git 合并多次commit,提交MR

    2024-06-15 10:48:02       20 阅读
  5. Hadoop】Yarn 任务管理指令

    2024-06-15 10:48:02       52 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-15 10:48:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-15 10:48:02       101 阅读
  3. 在Django里面运行非项目文件

    2024-06-15 10:48:02       82 阅读
  4. Python语言-面向对象

    2024-06-15 10:48:02       91 阅读

热门阅读

  1. 【名词解释】Unity中的3D坐标系

    2024-06-15 10:48:02       27 阅读
  2. node 升级之后 npm run build 错误

    2024-06-15 10:48:02       69 阅读
  3. vue 中的样式

    2024-06-15 10:48:02       33 阅读
  4. vue面试题

    2024-06-15 10:48:02       39 阅读
  5. C/C++函数指针、C#委托是什么?

    2024-06-15 10:48:02       36 阅读
  6. 富格林:力争打破黑幕安全盈利

    2024-06-15 10:48:02       30 阅读
  7. Leetcode(top100)最长连续序列

    2024-06-15 10:48:02       35 阅读
  8. 微服务与分布式面试题

    2024-06-15 10:48:02       32 阅读