首页 > 编程语言 >Hadoop3.4.0跑wordcount程序报错:org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Hadoop3.4.0跑wordcount程序报错:org.apache.hadoop.mapreduce.v2.app.MRAppMaster

时间:2024-08-07 09:53:08浏览次数:9  
标签:app wordcount mapreduce HADOOP 报错 env HOME hadoop

部署完Hadoop3.4.0 HA后跑wordcount程序报错,在日志文件里  http://rsnode:8042/logs/userlogs 里看到报错日志说不能加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

网上给的办法大多都是让执行 hadoop classpath 然后把那一长串配置到 mapred-site.xml。如图

 自己测试过之后发现只要在 hadoop-env.sh 里 修改 export $HADOO_HOME 的环境变量即可, 在2.x的版本中这里只要做Java环境变量的二次配置,3.x的系统需要把Hadoop的环境变量也加上,这样配置就会简化很多

 配置好 HADOOP_HOME的环境变量后,在 mapred-site.xml 中重新添加下面三个配置项即可

 <property>

<name>yarn.app.mapreduce.am.env</name>
<value>${HADOOP_HOME}</value>
</property>
<!-- 为 Map 添加环境变量 -->
<property>
<name>mapreduce.map.env</name>
<value>${HADOOP_HOME}</value>
</property>
<!-- 为 Reduce 添加环境变量 -->
<property>
<name>mapreduce.reduce.env</name>
<value>${HADOOP_HOME}</value>
</property>

如果还有报错的话在 yarn-site.xml 里加上这一项

<!-- 环境变量白名单 -->

<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

标签:app,wordcount,mapreduce,HADOOP,报错,env,HOME,hadoop
From: https://www.cnblogs.com/StanLong/p/18346412

相关文章

  • WPFUI报错 - page does not have a parameterless constructor
    WPFUI报错pagedoesnothaveaparameterlessconstructor.IfyouareusingWpf.Ui.IPageServicedonotnavigateinitiallyanddon'tuseCacheorPrecache问题原因WPFUI中的NavigationView只支持导航页面的无参构造函数或含一个dataContext的有参构造函数。因为在View......
  • 【linux】关于qemu-img创建虚拟机前端磁盘报错
    问题描述:使用qemu-imgcreate-fqcow2-bcirros.qcow2vmhost.img20G创建虚拟机磁盘出现以下报错,报错内容:qemu-img:vmhost.img:BackingfilespecifiedwithoutbackingformatDetectedformatofqcow2.[root@ecsimages]#qemu-imgcreate-fqcow2-bcirros.qcow2vmho......
  • uniapp vue3 转换华为鸿蒙(以及问题一些解决方案)
         主要是从Windows系统配置、配置离线SDK和DevEco-Studio、HBuilderX、三方面进行配置。     因为我也是之前写小程序的用uniappvue3写的看官网(uni-app开发鸿蒙应用|uni-app官网)的时候看到vue3uniapp写法可以转换华为鸿蒙开发,我就自己来尝试一......
  • 【Pyautogui自动准备jupyter】附上报错合集,已解决
    刚认识了pyautogui,浅浅写一段自动准备jupyter的程序importpyautogui#importpyperclipimporttimedefopen_jupyter():print('Openingjupyter...')time.sleep(1)try:location=pyautogui.locateOnScreen(r"D:\STEFANOS\python\t......
  • App Inventor 2 MQTT拓展入门(保姆级教程)
    本文通过一个零门槛的MQTT入门级测试案例,带大家熟悉一下MQTT的开发步骤,让大家对MQTT通信模型有一个比较直观的认识。准备工作APPINVENTOR测试平台:AppInventor2中文网(https://www.fun123.cn)MQTT拓展下载:MQTT中文文档页面进行下载。MQTT测试平台:中文平台推荐:bemfa.com......
  • uniapp中的websocket的研究,以及相关的封装
    官方文档---官方文档写的跟屎一样https://uniapp.dcloud.net.cn/api/request/websocket.html相关博客https://www.cnblogs.com/sunnyeve/p/16757633.html还是这个博客清晰https://blog.csdn.net/lyandgh/article/details/100642941......
  • 解决torchaudio.load报错 (Couldn't find appropriate backend to handle uri )
    解决torchaudio.load报错(Couldn'tfindappropriatebackendtohandleuri)问题描述(报错信息):问题:Traceback(mostrecentcalllast): File"resample.py",line43,in<module>  resample_use_cuda() File"resample.py",line24,inres......
  • 基于uniapp微信小程序+SpringBoot+Vue的礼品商城小程序系统设计和实现(源码+论文+部署
    博主介绍:✌全网粉丝50W+,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌技术范围:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、P......
  • 基于uniapp微信小程序+SpringBoot+Vue的生日福利管理系统设计和实现(源码+论文+部署讲
    博主介绍:✌全网粉丝50W+,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌技术范围:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、P......
  • MapperScannerConfigurer中获取applicayion.yml配置,进行动态加载BasePackage
     由于在MapperScannerConfigurer的bean优先于@value,导致@value取出来的时候都是null,所以只能使用Environment来获取值importorg.mybatis.spring.mapper.MapperScannerConfigurer;importorg.springframework.beans.factory.annotation.Value;importorg.springframework......