首页 > 编程语言 >HDFS NAMENODE 安全模式

HDFS NAMENODE 安全模式

时间:2024-09-26 12:55:33浏览次数:8  
标签:hdfs HDFS 模式 安全 dfs safemode namenode NAMENODE

一、安全模式现象探究

1.1 关闭所有服务,使用命令单独启动服务

使用hdfs --daemon命令逐个进程启动集群,观察现象
1.首先启动namenode
stop-all.sh 
jps
hdfs --daemon start namenode
jps
hadoop fs -ls /           #使用ls浏览时正常显示
hadoop fs -cat /test.txt  #使用cat查看数据或创建目录等写操作时报错,提示现在是安全模式
hadoop fs -mkdir /hello 
mkdir: Cannot create directory /hello. Name node is in safe mode.

1.2 访问控制台

注意summary信息   The reported blocks 0 needs additional 2 blocks to reach the threshold 0.9990 of total blocks 3

 

HDFS NAMENODE 安全模式_hdfs

1.3 启动一台datanode

hdfs --daemon start datanode  #第一台启动datanode,刷新访问控制台

HDFS NAMENODE 安全模式_安全模式_02

根据提示,安全模式已经关闭

hadoop fs -mkdir /hello #再次创建目录没有异常

二、安全模式概述

1.在NameNode主节点启动时,HDFS会首先进入安全模式。检查包括文件副本的数量、可用的datanode数量、集群可用block比例等参数。
2.在安全模式下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。
3.在NameNode启动过程中,首先会从fsimage和edits日志文件加载文件系统状态。然后,等待DataNodes汇报可用的block信息。在此期间,NameNode保持在安全模式。随着DataNode的block汇报持续进行,当整个系统达到安全标准时,HDFS自动离开安全模式。在NameNode Web主页上会显示安全模式是打开还是关闭。

三、安全模式自动离开

相关参数(hdfs-site.xml):
dfs.replication      #hdfs block的副本数据,默认3
dfs.replication.max   #最大块副本数,默认512
dfs.namenode.replication.min   #最小块副本数,默认1
dfs.namenode.safemode.threshold-pct  #已汇报可用数据块数量占整体块数量的百分比阈值。默认0.999f,小于或等于0,则表示退出安全模式之前,不要等待特定百分比的块。大于1的值将使安全模式永久生效。
dfs.namenode.safemode.min.datanodes  #指在退出安全模式之前必须存活的DataNode数量,默认0
dfs.namenode.safemode.extension  #达到阈值条件后持续扩展的时间。倒计时结束如果依然满足阈值条件,自动离开安全模式。默认30000毫秒

四、安全模式手动进入、离开

hdfs dfsadmin -safemode get		查看安全模式的状态
hdfs dfsadmin -safemode enter	进入安全模式
hdfs dfsadmin -safemode wait	进入安全模式
hdfs dfsadmin -safemode leave	离开安全模式
enter和wait都是进入安全模式,区别是enter是一定进入安全模式的,wait是等待HDFS进入安全模式

  

  

  

"一劳永逸" 的话,有是有的,而 "一劳永逸" 的事却极少



标签:hdfs,HDFS,模式,安全,dfs,safemode,namenode,NAMENODE
From: https://blog.51cto.com/u_8901540/12118305

相关文章

  • HDFS数据(跨集群)迁移
    一、数据迁移使用场景1.冷热集群数据同步、分类存储2.整体数据整体搬迁3.数据准实时同步(备份)二、考量因素1.网络传输带宽及时间,是否会影响现有业务2.性能,单机?多线程?分布式?3.是否正常增量同步4.数据迁移的同步性(同步单位时间数据超过单位时间)三、DistCp工具使用3.1简介dis......
  • HDFS优化方案
    一、短路本地读取(ShortCircuitLocalReads)1.1 背景在HDFS中,不管是LocalReads(DFSClient和Datanode在同一个节点)还是RemoteReads(DFSClient和Datanode不在同一个节点),底层处理方式都是一样的,都是先由Datanode读取数据,然后再通过RPC(基于TCP)把数据传给DFSClient。这样......
  • HDFS 节点动态管理
    一、节点上线1.新机器安装环境准备参考集群安装文档环境准备2.namenode节点配置[root@hdp01hadoop]#catworkershdp01.dialev.comhdp02.dialev.comhdp03.dialev.comhdp04.dialev.com[root@hdp01hadoop]#pwd/usr/local/hadoop/etc/hadoop[root@hdp01hadoop]#cd/us......
  • HDFS数据安全与隐私保护
    一、HDFSTrash垃圾桶1.文件系统垃圾桶背景HDFS本身也是一个文件系统,那么就会涉及到文件数据的删除操作。默认情况下,HDFS中是没有回收站垃圾桶概念的,删除操作的数据将会被直接删除,没有后悔药。2.功能概述1.HDFSTrash机制,叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收......
  • Java高效编程(2):面对多个构造参数时考虑使用构建器模式
    解锁Python编程的无限可能:《奇妙的Python》带你漫游代码世界在Java编程中,静态工厂和构造函数都存在一个局限性:当可选参数数量较多时,它们的扩展性较差。以表示食品包装上营养成分标签的类为例,这些标签包含几个必需字段——如份量大小、每容器的份数和每份的卡路里——以及超......
  • kafka生产者、消费者-命令行模式模拟
    win环境下,如果是linux,切换目录,用sh脚本就行kafka安装在上一篇https://www.cnblogs.com/qcy-blog/p/18428599Kraft启动kafkakafka-server-start.bat..\..\config\kraft\server.properties生产者,启动之后,命令行输入要生产的消息kafka-console-producer.bat--topictest-top......
  • 对 AI 产品定价模式的新思考:基于人数 or 工作量?
    编者按:传统的基于用户数量的定价模式是否还适用于AI产品?我们今天为大家带来的这篇文章中,作者提出:AI产品应该采用基于工作量的定价模式,而非传统的基于用户数量的定价方式。传统的基于用户数量的定价模式在AI产品中往往会导致资源浪费和成本分配不均。一些员工可能每天都在大量使......
  • ES的自我保护机制,磁盘超过多少会进入只读模式,怎么解决
    Elasticsearch的自我保护机制确保集群在面对潜在问题时保持稳定性和数据安全。具体到磁盘使用率,以下是相关细节:1.自我保护机制磁盘空间监控:Elasticsearch定期检查每个节点的磁盘使用率。只读模式:当节点的磁盘使用达到95%时,Elasticsearch会自动将该节点设置为只读模......
  • 技术成神之路:设计模式(十五)中介者模式
    介绍中介者模式(MediatorPattern)是一种行为型设计模式,用于减少对象之间的复杂通信和依赖。它通过引入一个中介者对象来封装对象之间的交互,从而使得对象之间不直接相互依赖,而是通过中介者进行通信。1.定义中介者模式将对象之间的通信封装到一个中介者对象中,使各对象不再直接引用彼......
  • 【问题】打开收音机,选择听筒模式,连接蓝牙耳机,播放录音文件,调节音量,声音没有变化
    1、通过起流、停流,不确定stream应该是0,还是3,判断不出来是哪部分日志。AudioFlinger:pid(30768)AudioFlinger:pid(3375)可以查一下,这两个pid都是什么应用在播,:com.hihonor.soundrecorder就是收音机在播放。AS.AudioService:VoicecallactivepkgName:com.hihonor.soundreco......