• 2024-03-12HDFS读数据流程、NN和2NN工作机制、DataNode工作机制、数据完整性
    HDFS读数据流程    事件描述:客户端要下载一个200m的数据文件,hdfs是如何读取的。   两个对象:一个客户端、一个集群   流程:       1.客户端创建一个分布式文件系统(DistributedFileSystem),向集群NameNode请求下载文件。       
  • 2023-12-12Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析
    NameNode被格式化之后,将在NameNode目录下产生一些文件1.Fsimage文件Fsimage文件是HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件inode的序列化信息1.查看Fsimage文件1.oiv命令hdfsoiv-p文件类型-i镜像文件-o转换后文件的输出路径hdfs
  • 2023-11-01JournalNode元数据处理过程
    1.背景在Hadoop2.x之前,只有一台NameNode负责对外提供服务,另外一台secondaryNameNode只用于合并fsimage,不提供对外元数据服务。因此NameNode和secondaryNameNode都存在单点问题。为了解决secondaryNameNode单点问题,HDFS引入多个JournalNode服务存储操作日志,取代单台secondary
  • 2023-10-06【大数据】HDFS
    HDFS原理基本介绍1:HDFS全称:HadoopDistributedFileSystem2:Hadoop三大组件(HDFS、MapReduce、YARN)之一3:可在多台服务器上构建集群,提供分布式数据存储能力4:NameNode:主角色,管理HDFS集群和DataNode角色5:DataNode:从角色,负责数据的存储6:SecondaryNameNode:辅助角色,协
  • 2023-09-14HDFS体系结构
    HDFS体系结构HDFS支持主从结构,主节点称为NameNode,是因为主节点上运行的有NameNode进程,NameNode支持多个,目前我们的集群中只配置了一个从节点称为DataNode,是因为从节点上面运行的有DataNode进程,DataNode支持多个,目前我们的集群中有两个HDFS中还包含一个SecondaryNameNode进程,
  • 2023-07-302023.7.24-2023.7.30暑假第三周博客
    2023.7.25今日学习了NameNode元数据Hadoop是如何记录和整理文件和block块的关系呢?NameNode基于一批edits和一个fsimage文件的配合完成整个文件系统的管理和维护edits是一个流水账文件,记录了hdfs中的每一次操作,以及本次操作影响的文件及其对应的block会存在多个edits文件确保
  • 2023-03-28[Algorithm] Dynamic programming - 01 - Drawing 2-d matrix
    Problem:LevenshteinDistanceWriteafunctionthattakesintwostringsandreturnstheminimumnumberofeditoperationsthatneedtobeperformedonthefir
  • 2023-03-01HDFS NameNode元数据管理
    一、什么是元数据在HDFS中,元数据主要指的是文件相关的元数据,由NameNode管理维护。从广义的角度来说,因为NameNode还需要管理众多DataNode节点,因此DataNode的位置和健康状
  • 2023-02-06[LeetCode] 2452. Words Within Two Edits of Dictionary
    Youaregiventwostringarrays, queries and dictionary.AllwordsineacharraycompriseoflowercaseEnglishlettersandhavethesamelength.Inone edi
  • 2022-11-11hadoop HA----Quorum Journal 设计…
    原文参考这个链接中的附件:https://issues.apache.org/jira/browse/HDFS-30771概述1.1背景1.2当前实现的一些局限自定义硬盘 -NAS设备和远程控制的PDU非常昂贵,也有别
  • 2022-11-08namenode故障恢复
    一、dits和fsimage     首先要提到两个文件edits和fsimage,下面来说说他们是做什么的。集群中的名称节点(NameNode)会把文件系统的变化以追加保存到日志文件edits中。当名
  • 2022-11-0303-分布式文件系统HDFS
    目录​​一,HDFS简介​​​​1,什么是HDFS​​​​2,优缺点​​​​2.1优点​​​​2.2缺点​​​​二,HDFS原理​​​​1,系统架构​​​​1.1角色分工​​​​1.2设计思想