1、local模式
数据在本地,代码也在本地,使用本机的电脑的资源运行我们的MR
输入和输出路径指的都是本地路径,运行时耗费的资源也是本地资源。
2、local模式2
数据在hdfs上,代码在本地,使用本机的电脑的资源运行我们的MR
System.setProperty("HADOOP_USER_NAME","root");
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");
// 使用本地的资源(CPU,内存等), 也可以使用yarn平台跑任务
configuration.set("mapreduce.framework.name","local");
这个里面的输入和输出路径指的是hdfs上的路径。
3、Yarn模式
数据在hdfs上,代码 跑 在yarn上。
System.setProperty("HADOOP_USER_NAME","root");
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");
configuration.set("mapreduce.framework.name","yarn");
// 跨平台任务提交打开
configuration.set("mapreduce.app-submission.cross-platform", "true");
标签:hdfs,set,Configuration,Hadoop,MapReduce,三种,本地,mapreduce,configuration
From: https://blog.csdn.net/Yz9876/article/details/143396257