首页 > 其他分享 >MapReduce运行模式

MapReduce运行模式

时间:2023-10-04 19:44:08浏览次数:35  
标签:hdfs -- 路径 jar MapReduce 模式 运行

1、yarn集群运行

先将之前写好的MapReduce程序进行打包--Maven-->package;

打包完成之后的jar包在target目录下可以找到!!!

之后将jar包上传到我们的虚拟机文件夹里面去;

之后输入命令:

hadoop jar jar包名称 jar包主类的全路径名称

回车之后开始运行;

在hdfs的浏览器界面(9870)能够找到输出结果;

2、本地运行(一般用于做测试用)

只是需要将我们主类里面定义的路径更改为本地的哪个盘即可;

不用hdfs哪个路径了就;

本地RUN一下就ok啦!

标签:hdfs,--,路径,jar,MapReduce,模式,运行
From: https://www.cnblogs.com/liuzijin/p/17742610.html

相关文章

  • python多进程:fork模式和spawn模式
    python多进程:fork模式和spawn模式fork模式1.仅unix系统支持,并且是unix系统的默认模式.2.使用该模式创建子进程的时候,会复制父进程的全部变量,支持传参(任意类型)给子进程,但是不会复制父进程的线程.3.该模式相当于将父进程的内存复制一份用于创建子进程.但是由于不复制线程......
  • MapReduce学习二之WordCount案例
    一、案例概述1、第一步--变成偏移量的K1,V1(这一步不需要我们自己写)2、进入Map阶段输出新的<K2,V2>的键值对;3、Shuffle阶段分区、排序、规约、分组输出新的键值对:4、Reduce阶段转换为<K3,V3>的新的形式的键值对;利用TextOutputFormat的类实现结果的输出;二、具体实践1......
  • Flutter/Dart第09天:Dart高级特殊Pattern模式的概览和用法
    Dart官方文档:https://dart.dev/language/patterns重要说明:本博客基于Dart官网文档,但并不是简单的对官网进行翻译,在覆盖核心功能情况下,我会根据个人研发经验,加入自己的一些扩展问题和场景验证。Pattern模式匹配的定义官网定义:PatternsareasyntacticcategoryintheDartlan......
  • 开发期间flask运行方式(1.x和2.x区别)
    1.x使用app.run(参数)可以使用debug=True控制处于什么模式。app.run(host="127.0.0.1",port=5000,debug=True)2.x使用命令:flaskrun1、环境变量要指定FLASK_APP,环境变量的值为app所在的py文件名。2、通过环境变量FLASK_ENV=production|development来控制debug(生产环......
  • 为什么懒汉式单例模式要加volatile修饰符
    publicclassLazySingleton{privateLazySingleton(){}privatevolatilestaticLazySingletoninstance;publicsynchronizedstaticLazySingletongetInstance(){if(instance==null){instance=newLazySi......
  • MVC模式和三层架构
    一、MVC模式MVC是一种分层开发的模式,其中:M:Model,业务模型,处理业务V:View,视图,界面展示C:Controller,控制器,处理请求,调用模型和视图控制器(serlvlet)用来接收浏览器发送过来的请求,控制器调用模型(JavaBean)来获取数据,比如从数据库查询数据;控制器获取到数据后再交由视图(JSP)进行数据......
  • 软件设计模式系列之二十二——状态模式
    1模式的定义状态模式是一种行为型设计模式,它允许对象在内部状态发生改变时改变其行为,使得对象的行为看起来像是改变了其类。状态模式将对象的状态抽象成一个独立的类,让对象在不同状态下具有不同的行为,而且可以在运行时切换状态。这种方式使得状态的管理更加清晰,避免了大量的条件......
  • Java新特性中的Preview功能如何运行和调试
    在每个Java新版本发布的特性中,都会包含一些Preview(预览)功能,这些功能主要用来给开发者体验并收集建议。所以,Preview阶段的功能并不是默认开启的。如果想体验某个Java版本中的Preview功能,您还需要做一些设置才能把程序跑起来。下面以IDEA2023.2为例,演示为Java21开启Preview功能......
  • 迭代器模式
    迭代器模式案例引入需求编写需求展示一个学校院系结构,需求是这样,要在一个页面中展示出学校的院系组成,一个学校有多个学院,一个学院有多个系,且多个学院,存储系的数据机构不同,有的是集合,有的是数组。传统解决方式让系继承学院,学院继承学校。传统解决方式问题分析1.将学院看做......
  • MapReduce学习一
    1、相关介绍--分而治之MapReduce分布在Yarn集群2、设计构思(以wordcount为例)第一步-->读取文件,读取为键值对类型,偏移量,该行的内容;第二步(Map阶段)-->转换成为另一种键值对模式,单词,1;第三步(Suffle阶段)-->转换成另一种键值对模式,单词,<有几个这个单词,便有几个1用逗号隔开>;第四步......