首页 > 其他分享 >Hadoop(七)集群搭建过程中遇到的问题及解决方法

Hadoop(七)集群搭建过程中遇到的问题及解决方法

时间:2024-09-13 15:38:16浏览次数:8  
标签:Hadoop mapreduce 192.168 hadoop 集群 3.1 HADOOP 搭建

遇到的问题及解决方法

1、Hadoop启动正常,但是进不了web端hadoop102:9870
解决方法:查看自己的hosts文件(C:\Windows\System32\drivers\etc),发现没有配置相关网点,添加如下内容(不需要在前面加'#'):

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

2、执行语句报错
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput
报错
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
YARN 无法找到 MapReduce 应用程序的主类
解决方法:在mapred-site.xml添加:

 <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>

标签:Hadoop,mapreduce,192.168,hadoop,集群,3.1,HADOOP,搭建
From: https://www.cnblogs.com/shihongpin/p/18412281

相关文章

  • Hadoop(六)生产集群搭建(三)
    完全分布式运行模式一、群起集群1、配置workers[user@hadoop102hadoop]$vim/opt/module/hadoop-3.1.3/etc/hadoop/workers在文件中添加如下内容:hadoop102hadoop103hadoop1042、启动集群(1)如果集群是第一次启动,需要在hadoop102节点格式化NameNode[user@hadoop102had......
  • minio分布式集群部署(三)
    一、优势分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。分布式存储可靠性常用方法 分布式存储,很关键的点在于数据的可靠性,即保证数据的完整,不丢失,不损坏。只有在可靠性实现的前提下,才......
  • CDH Hive集群的create/drop慢问题,在200s 多一点处理分析
    现象:CREATETABLEtest911(SNString,PN_CODEString);Totaltimespentinthismetastorefunctionwasgreaterthan1000ms:createTable_(Table,)=200091Hive集群的create/drop操作时间基本都稳定在200s多一点。分析:HMS会实时向Sentry同步Notifications请......
  • centos7搭建DNS服务和DNS辅助服务
    主服务器准备二台linux虚拟机(一个服务器主服务器,一个为辅助服务器)[root@cs01~]#yuminstallbind-y#安装dns服务[root@cs01~]#systemctlstopfirewalld.service#关闭防火墙[root@cs01~]#setenforce0#设置宽容模式 [root@cs01~]#ls/etc/|grepnamed #查看DN......
  • 场景解决方案丨突破成本限制,中小企业如何快速搭建后台管理系统
    信息化时代下业务数据量激增,云计算、物联网、人工智能等技术的成本大幅度降低及普及,这些变化推动着市场需求发生改变,使数字化转型成为各行业的共同趋势。在这一背景下,大型企业利用其经济和技术优势巩固市场领导地位,而中小企业则在竞争压力下迫切需要寻找新的增长点,以维持竞争力并实......
  • PbootCms模板搭建网站,可能会遇到内页无法正常访问的情况
    当你遇到PbootCMS内页无法正常访问的问题时,关闭伪静态并转为兼容模式是一种简单有效的解决方案。以下是详细的步骤:步骤详解登录后台管理系统打开你的PbootCMS网站后台管理系统。使用管理员账号登录。进入设置页面在后台管理系统的左侧导航栏中找到“设置”选项,并点击......
  • 网站搭建
    第一步,服务器申请选择一:免费云服务器,免费虚拟主机如:阿贝云阿贝云提供了免费的云服务器和免费的云虚拟主机,可根据自己的实际应用情况选择。首先注册一个账户,然后需要支付0.3元做一个实名认证,如果实名认证成功了大概率会开通成功。如果失败了可能是服务器资源池不......
  • 【Spring】搭建SpringBoot + OAuth2认证授权服务
    文章目录一、环境准备二、创建SpringBoot项目1.使用SpringInitializr2.使用IDE导入项目三、配置数据源四、添加用户实体和存储五、配置SpringSecurity六、配置OAuth2七、创建控制器八、创建前端页面九、运行和测试十、总结本文将详细介绍如何使用最新版本的Spr......
  • Hadoop
    ApacheHadoop是一个开源的分布式计算框架,主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成,分别是HDFS(分布式文件系统)、MapReduce(分布式计算框架)、YARN(资源管理)和HadoopCommon(公共工具和库)。1.HDFS......
  • Hadoop Pig
    Pig是ApacheHadoop生态系统中的一个高层次平台,主要用于处理大型数据集。它的核心组件是PigLatin,这是一种数据流语言,可以简化大规模并行处理的编程任务。Pig通过将复杂的数据操作转换为MapReduce任务,简化了编写Hadoop应用程序的难度。Pig的核心组成部分PigLat......