首页 > 其他分享 >hadoop2 集群出现过的问题

hadoop2 集群出现过的问题

时间:2023-04-20 18:32:08浏览次数:35  
标签:hdfs java hadoop2 hadoop 问题 集群 apache org FSNamesystem


 

 

1 The number of live datanodes 2 has reached the minimum number 0

 

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /tmp/hadoop-yarn/staging/root/.staging/job_1434694058996_0001. Name node is in safe mode.
The reported blocks 244 has reached the threshold 0.9990 of total blocks 244. The number of live datanodes 2 has reached the minimum number 0. Safe mode will be turned off automatically in 3 seconds.
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1130)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.deleteInternal(FSNamesystem.java:3247)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.deleteInt(FSNamesystem.java:3207)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete(FSNamesystem.java:3191)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.delete(NameNodeRpcServer.java:706)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.delete(ClientNamenodeProtocolServerSideTranslatorPB.java:514)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1962)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1958)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1956)

 

 

处理方式:

 

可以关闭安全模式

[root@master mapreduce]# hadoop dfsadmin -safemode leave

 

 

 

2 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException): Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024

 

处理方式: 1 虚拟机内存弄大点,建议每个节点最少为1.5G以上,这里我用的是2G的内存虚拟机

 

 

 

 

标签:hdfs,java,hadoop2,hadoop,问题,集群,apache,org,FSNamesystem
From: https://blog.51cto.com/u_16081606/6210152

相关文章

  • 畅通工程之局部最小花费问题 - 最小生成树
    某地区经过对城镇交通状况的调查,得到现有城镇间快速道路的统计数据,并提出“畅通工程”的目标:使整个地区任何两个城镇间都可以实现快速交通(但不一定有直接的快速道路相连,只要互相间接通过快速路可达即可)。现得到城镇道路统计表,表中列出了任意两城镇间修建快速路的费用,以及该道路......
  • 15 个必须知道的 Java 面试问题(2年工作经验)
    【Java核心】1)Whatisthepurposeofserialization?2)WhatisthedifferencebetweenJDKandJRE?3)Whatisthedifferencebetweenequalsand==?4)WhenwillyouuseComparatorandComparableinterfaces?5)Whatisthewait/notifymechanism?6)......
  • 生产者-消费者问题(转)
    原文:https://zhuanlan.zhihu.com/p/259541449又称有限缓冲问题(英语:Bounded-bufferproblem),是一个多进程同步问题的经典案例。该问题描述了共享固定大小缓冲区的两个进程——即所谓的“生产者”和“消费者”——在实际运行时会发生的问题。生产者的主要作用是生成一定量的数据放到......
  • 共享库的问题
    1.新安装的程序运行时找不到动态库,若共享库安装到了/lib或/usr/lib那么需要执行以下ldconfig,ldconfig的作用是在默认搜索路径/lib和/usr/lib和动态库配置文件/etc/ld.so.conf所列的目录下搜索出动态链接库。2.若共享库安装到了/usr/local/lib下,那么执行ldconfig之前需要把......
  • 高新技术企业申报有哪些常见问题
    高新技术企业高新技术企业是指在中国(不包括香港、澳门、台湾)注册一年以上的居民企业,在国家重点支持的高新技术领域不断开展研发和技术成果转化,形成企业核心自主知识产权,并在此基础上开展经营活动。高新技术企业作为国家重点发展对象,不仅享受国家政策,还享受地方政策支持。那么,企业如......
  • EasyCVR视频融合平台语音对讲设备端异常的问题分析及解决
    EasyCVR平台属于综合性及融合性较强的视频平台,目前可支持多协议、多类型的海量设备接入与分发,具备视频监控直播、云端录像、录像的检索与回看、存储、智能告警、语音对讲、平台级联、跨系统支持、灵活网络环境配置等视频能力,在线下均有大量落地应用。我们在此前的文章中也介绍过关......
  • umy-ui表格单行编辑(解决单行编辑滑动后失效问题)
    TableRowEdit.vue<template><div><ux-grid:data="tableData"tooltip-effect="dark"show-overflow="tooltip":cell-style="{'text-align':'center'}&q......
  • MySQL使用过程中常见问题的解决
    问题1:root用户密码忘记,重置的操作、1:通过任务管理器或者服务管理,关掉mysqld(服务进程)2:通过命令行+特殊参数开启mysqldmysqld--defaults-file="D:\ProgramFiles\mysql\MySQLServer5.7Data\my.ini"--skip-grant-tables3:此时,mysqld服务进程已经打开。并且不需......
  • 正版Abaqus软件价格贵?许可优化可解决预算不足许可不够用问题!
    随着计算机技术的发展和普及,各类软件已经成为现代生产和研究工作的重要工具。ABAQUS软件作为有限元分析软件的代表,具有广泛的应用领域和丰富的功能,成为了科研机构和企业所青睐的工具之一。然而,其高昂的许可证价格,往往使得机构和企业难以承担。针对这一问题,本文围绕浮点许可优化管理......
  • 28 27 | 主库出问题了,从库怎么办?
    在前面的第24、25和26篇文章中,我和你介绍了MySQL主备复制的基础结构,但这些都是一主一备的结构。大多数的互联网应用场景都是读多写少,因此你负责的业务,在发展过程中很可能先会遇到读性能的问题。而在数据库层解决读性能问题,就要涉及到接下来两篇文章要讨论的架构:一主多从。今天这......