首页 > 编程语言 >hadoop篇——nameNode DataNode SecondaryNameNode的作用,以及如何查看操作日志

hadoop篇——nameNode DataNode SecondaryNameNode的作用,以及如何查看操作日志

时间:2024-04-10 23:36:02浏览次数:24  
标签:xml 文件 SecondaryNameNode hadoop current DataNode 日志 root

集群下的hadoop(112主节点 113,114从节点)如果112挂了,数据以及操作日志会丢失无法恢复,又称单点故障。

再启动start-all.sh hadoop后,主节点会产生 name 以及 secondary两个文件  所在地址在  /root/training/hadoop-2.7.3/tmp/dfs

其中 name 对应的是 NameNode节点:接受客户端的请求,数据上传及下载

维护HDSF中的edits文件(客户端操作日志文件)以及 fsimage(元信息文件)

举例:

执行  hdfs dfs -mkdir /tools 在hdfs中创建一个tools文件

那么在/root/training/hadoop-2.7.3/tmp/dfs/name/current 文件中

 edits_inprogress_0000000000000000135 是日志文件,但是是二级制文件正常无法查看,需要转成xml

[root@bigdata112 current]# hdfs oev -i edits_inprogress_0000000000000000135 -o ~/a.xml
[root@bigdata112 current]# cat ~/a.xml

 同时,也可以查看元文件

[root@bigdata112 current]# hdfs oiv -i fsimage_0000000000000000133 -o ~/b.xml -p XML
[root@bigdata112 current]# cat ~/b.xml

 

标签:xml,文件,SecondaryNameNode,hadoop,current,DataNode,日志,root
From: https://www.cnblogs.com/charkey/p/18127773

相关文章

  • sqoop:错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster(已
    1报错信息错误:找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster说明:操作将数据库中的数据导入到HDFS中执行sqoopimport --connectjdbc:mysql://aaa01:3306/mysql--usernameroot--passwordroot--tabletest时报了以下错误2报错截图:......
  • 解决hadoop的namenode和datanode结点启动不起来的问题
    首先介绍一下本人的情况:我的虚拟机最开始是可以启动的,后来删除了主节点,重新创建了一个主节点,并保持相同的主机名,并把从结点上的hadoop打包发到了主节点(前提已经弄好ssh和相关映射)tar-zcf~/hadoop.master.tar.gz./hadoop//将hadoop目录下的内容打包复制到~/hadoop.master.ta......
  • hadoop02
    1.配置文件hadoop的默认配置文件都在$HADOOP_HOME/share下,先读取这个默认值,再读取etc中用户配置的值,用户配置的值将覆盖默认值cd$HADOOP_HOME/sharemkdir-p/data/testfind-name"*-default.xml"-execcp{}~/data/test\;在hdfs-default.xml中查找dfs.blocksize,可以......
  • 在CentOS7上搭建hadoop集群
    hadoop官方下载地址https://hadoop.apache.org/releases.html用到的命令/root/hadoop-3.4.0/bin/hdfsnamenode-format,start-all.sh,stop-all.sh1.三台虚拟机分别设置静态ip2.设置免密登录(更改主机名、添加映射)3.配置hadoop(添加环境变量)core-site.xmlhdfs-site.......
  • Hadoop集群下的wordcount运行出错类型及解决方法
    1、启动wordcont程序显示异常:原因:2、显示服务器连接不成功:原因:虚拟机配置问题,导致yarn服务没有启动3、运行结果不正确:原因:暂未发现,求解答......
  • 大数据设计基于Hadoop技术下的校园二手交易系统的设计与实现
    一、项目介绍  在新冠疫情下,校园二手交易系统主要是用JAVA开发的。系统根据B/S架构设计,选用springboot框架开发,Hadoop技术,编码由Eclipse撰写,形成的数据储存在MySQL数据库中,服务器应用Tomcat。系统分成管理员控制模块和学生模块。管理员可以审批学生、物品分类、物品信息......
  • 大数据设计基于Hadoop全国天气可视化分析系统
    一、项目介绍  全国天气可视化分析系统主要功能模块包括系统首页、轮播图、公告消息、资源管理(天气资讯、资讯分类)系统用户(管理员、普通用户)模块管理(天气信息、降水数据),采取面对对象的开发模式进行软件的开发和硬体的架设,能很好的满足实际使用的需求,完善了对应的软体架设......
  • Hadoop3.1.3+Spark2.3.4全分布决策树
    该文档是一些配置全分布的注意事项(遇到的坑)与个人的一些指令备注,阅读文档前需要配置好网络,具体可以参考:网络配置。linux系统选择的是Centos7首先是一些小工具:小技巧1.Xshell:可以更方便地批量操控虚拟机进行全分布:这样输入任何指令都可以输入给所有虚拟机,方便全分布的配置......
  • 学习hadoop的第三天——hive搭建
    学习hadoop的第三天hive介绍hive的基本信息Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发......
  • 搭建hadoop 基于yarn的集群模式
     准备工作:三个虚拟机相同操作1.创建三个虚拟机,参考之前的配置信息2.设置主机名vi/etc/hosts 加入192.168.61.112bigdata112192.168.61.113bigdata113192.168.61.114bigdata1143.关闭防火墙:systemctlstopfirewalld.service/systemctldisablefirewalld.servi......