首页 > 编程语言 >意外停电致hadoop所有namenode节点无法启动故障处理

意外停电致hadoop所有namenode节点无法启动故障处理

时间:2024-06-12 23:32:52浏览次数:28  
标签:停电 服务 nn 启动 hadoop namenode 节点

环境

hadoop(版本:3.3.5)集群由3个datanode(dn)节点组成,其中2个namenode(nn)节点,采用QJM(Quorum Journal Manager)方案组建高可用服务。

问题描述与处理

单位意外断电导致hdfs服务不可用,尝试重启服务:

myhadoop.sh stop
myhadoop.sh start

多次执行 jpsall 观察各服务启动情况,发现 namenode 进程启动不到一会就退出了。查看日志:
nn错误日志
可以看到nn启动失败与节点提交的txid有关,排查各个jn节点运行日志,并没有发现什么异常信息。可以确定的是断电使某些数据没来得及提交,从而导致数据不一致,考虑使用hadoop提供的修复工具来恢复运行,尽可能地保留之前已经写入的数据。
如果之前的数据不打算要了,则可以直接在nn节点上重新格式化,快速让服务重新恢复使用:

hdfs namenode -format

数据诚可贵,我还是考虑其他方式恢复服务。

标签:停电,服务,nn,启动,hadoop,namenode,节点
From: https://blog.csdn.net/hwh_scut/article/details/139632335

相关文章

  • 云计算导论—搭建Hadoop平台
    一、Hadoop平台介绍   Hadoop平台是一个由Apache基金会所开发的分布式系统基础架构,专为大数据处理而设计。以下是关于Hadoop平台的详细介绍:1.1Hadoop基础架构概述核心组件:Hadoop主要由两个核心组件构成,即HadoopDistributedFileSystem(HDFS)和MapReduce。HDFS:负责分......
  • spark-3.5.1+Hadoop 3.4.0+Hive4.0 分布式集群 安装配置
    Hadoop安装参考:Hadoop3.4.0+HBase2.5.8+ZooKeeper3.8.4+Hive4.0+Sqoop分布式高可用集群部署安装大数据系列二-CSDN博客一下载:Downloads|ApacheSpark1下载Maven–WelcometoApacheMaven# maven安装及配置教程wgethttps://dlcdn.apache.org/maven/maven-3/......
  • Docker部署hadoop+运行wordcount详解
    一、拉取ubuntu镜像抓取ubuntu的镜像作为基础搭建hadoop环境#如果不指定版本号的话,默认拉取最新的ubuntu版本dockerpullubuntu二、创建容器#1.查看已拉取的镜像dockerimages#2.创建容器dockerrun-it--namemyhadoop-p80:80ubuntu#dockerrun:创建并运......
  • 【hadoop/Spark】相关命令
    目录hadoopHDFShiveSparkhadoop查看启动状态jps重启hadoopsbin/stop-all.shsbin/start-all.shsbin/start-dfs.sh查看hadoop版本./bin/hadoopversionHDFS查看hdfs的文件夹cd/usr/local/hadoop./bin/hdfsdfs-ls/hive查看创建的数据库showdataba......
  • 新手上路:Linux虚拟机创建与Hadoop集群配置指南①(未完)
    一、基础阶段Linux操作系统:创建虚拟机1.创建虚拟机打开VM,点击文件,新建虚拟机,点击自定义,下一步下一步这里可以选择安装程序光盘映像文件,我选择稍后安装选择linux系统位置不选C盘,创建一个新的文件夹VM来放置虚拟机,将虚拟机名字改为master方便后续识别(也可以改为其他......
  • docker部署hadoop集群
    docker部署hadoop集群:https://blog.51cto.com/865516915/2150651 一、主机规划3台主机:1个master、2个slaver/workerip地址使用docker默认的分配地址:master:主机名:hadoop2、ip地址:172.17.0.2 slaver1:主机名:hadoop3、ip地址:172.17.0.3主机名:hadoop4、ip地址:172.17......
  • 05 Hadoop简单使用
    目录一、hadoop安装配置二、运行hadoop三、hadoop2.x和hadoop3.x变化四、HDFS常用命令五、Java操作HDFS六、MapReduce七、压缩八、yarn常用命令一、hadoop安装配置​1、下载解压hadoop-x.x.x.tar.gztar-xzvfhadoop-x.x.x.tar.gz​2、下载解压jdktar-xzvfj......
  • Hadoop完全分布式安装
    Hadoop完全分布式安装一.集群搭建前期准备1.三台机器防火墙都是关闭的2.确保三台机器网络配置畅通3.三台机器确保/etc/hosts⽂件配置了ip和hostname的映射关系4.确保三台机器配置了ssh免密登录认证二.前期环境搭建免密登录1.修改主机名为server1,配置hosts文件vi/e......
  • 【大数据】Hadoop集群搭建(8249字)
    文章目录@[toc]NAT配置IP配置SecureCRT配置PropertiesTerminalEmulationAppearanceJava安装环境变量配置Hadoop1.0安装建立临时文件夹修改配置文件mastersslavescore-site.xmlmapred-site.xmlhdfs-site.xmlhadoop-env.sh环境变量配置Hadoop2.0安装修改配置文件ha......
  • Hadoop安装及集群环境配置
    环境准备1.VMware虚拟机(Linux操作系统)2.Windows10~113.JDK4.Hadoop5.Xshell7(用于连接虚拟机与Windows)6.Xftp7(用于虚拟机与Windows之间传输文件)家庭/学校免费-NetSarangWebsitehttps://www.xshell.com/zh/free-for-home-school/一、虚拟机下Hadoop环境搭建 1、创......