首页 > 其他分享 >Hadoop-MapReduce任务三种运行开发模式

Hadoop-MapReduce任务三种运行开发模式

时间:2024-11-01 11:45:07浏览次数:6  
标签:hdfs set Configuration Hadoop MapReduce 三种 本地 mapreduce configuration

1、local模式

数据在本地,代码也在本地,使用本机的电脑的资源运行我们的MR

输入和输出路径指的都是本地路径,运行时耗费的资源也是本地资源。

2、local模式2

数据在hdfs上,代码在本地,使用本机的电脑的资源运行我们的MR

        System.setProperty("HADOOP_USER_NAME","root");    
        Configuration configuration = new Configuration();
        
        configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");
        // 使用本地的资源(CPU,内存等), 也可以使用yarn平台跑任务
        configuration.set("mapreduce.framework.name","local");

这个里面的输入和输出路径指的是hdfs上的路径。

3、Yarn模式

数据在hdfs上,代码 跑 在yarn上。

        System.setProperty("HADOOP_USER_NAME","root");    
        Configuration configuration = new Configuration();
        
        configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");
        
        configuration.set("mapreduce.framework.name","yarn");

        // 跨平台任务提交打开
        configuration.set("mapreduce.app-submission.cross-platform", "true");	

标签:hdfs,set,Configuration,Hadoop,MapReduce,三种,本地,mapreduce,configuration
From: https://blog.csdn.net/Yz9876/article/details/143396257

相关文章

  • 告别龟速加载:三种压缩算法让你的网站瞬间提速!
    三种压缩算法,让你的网站飞起来!!!2万字深度长文,让你一次看个爽!!!欢迎订阅专栏,永不收费,hacker精神,更快获得第一手优质博文!!!前言在当今快节奏的互联网世界,用户对网站加载速度的要求越来越高。一个加载缓慢的网站不仅会损害用户体验,还会影响搜索引擎排名,最终导致流量和转......
  • 怎么利用hadoop搭建自己的云计算
    我们为了能够更加方便来识别主机,我们使用主机名而不是使用IP地址,以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2三台虚拟机服务器中的主机名(hostname)分别更改为master、node1、node2。一、怎么利用hadoop搭建自己的云计算(1)我们为了能够更加方便来识别主机,......
  • 615. 平均工资:部门与公司比较#三种方法
    目录题目和要求1.题目代码2.解题分析图览方法1:方法2:方法3:3.难点分析4.答案代码以及pretty表格解释5.关键总结题目和要求表:Salary+-------------+------+|列名|类型|+-------------+------+|id|int||employee_id|int||a......
  • 二十三种设计模式之命令模式
    目录1.什么是命令模式?2.命令模式的组成3.命令模式的优点4.命令模式的缺点5.使用场景6.实践中的应用7.拓展:命令模式与现代框架8.结语        在软件工程领域,设计模式是解决特定问题的成熟模板。今天,我想和大家分享一种非常实用的行为设计模式——命令......
  • element-ui table中使用type=‘selection‘ 实现禁用,勾选,默认选中不可修改 三种状态显
    element-uitable中使用type=‘selection’实现禁用,勾选,默认选中不可修改三种状态显示问题实现效果   需求1.status=‘CheckOk'时勾选框默认选中但不可修改勾选状态2.status=‘CheckFail'时勾选框禁用3.status=‘'时勾选框可以勾选实现思路采用el-table表格自......
  • SAP-ABAP开发-按钮的三种调用方法
    1、自己创建调用在程序包中右击创建GUI状态,创建使用自己需要的按钮。注意的是,这里调用后会覆盖掉原来的系统的按钮。2、不覆盖系统的情况下加上自己创建的按钮并调用        右键GUI状态点击创建到界面后,点转到---》调整模板 。这里调整模板是指在系统基础上调整,......
  • Linux网络连接三种模式的区别(图解超详细)
    (CentOS安装难点——网络连接方式的理解)参考视频链接为什么选择NAT模式?如上图情景设定:图中三个人在同一个教室网络,可以相互通讯,因为他们三人在同一网段(三者都以192.168.0打头)。1.桥接模式虚拟系统可以和外部系统相互通讯,但是容易造成ip冲突(张三ip:192.168.0.20,他......
  • nginx 根路径同时代理 http ws sse 三种请求
    HTTP(HyperTextTransferProtocol):超文本传输协议,是用于在客户端(通常是web浏览器)和服务器之间传输数据的协议。HTTP是Web的基础,用于请求和传输网页、图像、视频等资源。它采用请求-响应模型,支持多种方法(如GET、POST等),并可通过HTTP/1.1和HTTP/2等版本进行优化,以提高性能和用户体验。......
  • Hadoop分布式系统架构
    Hadoop分布式系统架构Hadoop已经非常火了,Greenplum的开源跟它也是脱不了关系的。它有着高可靠性、高扩展性、高效性、高容错性的口碑。在互联网领域有着非常广泛的运用,雅虎、Facebook、百度、淘宝、京东等都在使用Hadoop。Hadoop生态体系非常庞大,各公司基于Hadoop所实现的......
  • 二叉树的三种遍历方式
    文章目录前言本文章讲解二叉树的三种遍历一、前序遍历1、理解前序遍历2、前序遍历代码二、中序遍历中序遍历代码三、后序遍历后序遍历代码总结前言本文章讲解二叉树的三种遍历前序遍历:先遍历根节点,然后是左节点,最后是右节点-----根左右中序遍历:先遍历左节点,然......