首页 > 其他分享 >HDFS存储介绍

HDFS存储介绍

时间:2023-04-07 09:00:48浏览次数:30  
标签:HDFS 存储 editlog fimage 介绍 存放 namenode 节点

1:datanode 数据节点-存放数据的

2:namenode  名字节点-主要是存放元数据的,比如:文件大小  名称 存放位置 等

3:secondarynamenode 是存放fimage信息的,具体解释如下:

namenode

      fimage      editlog

namenode 中每次有信息变化的时候,都会放到editlog 中,然后由editlog同步到fimage中,当服务挂了,重启直接可以从fimage中去拿。

secorndarynamenode 是定时去fimage中拿数据的,防止namenode挂了,给服务器带来的不可回滚

标签:HDFS,存储,editlog,fimage,介绍,存放,namenode,节点
From: https://www.cnblogs.com/xzlnuli/p/17294857.html

相关文章

  • 开源云原生存储rook:块存储快速入门实战
    BlockDevices(块存储)在Rook中,块存储有两种存储类型:副本存储和纠删码存储。这两种存储类型都可以在Kubernetes集群中使用,可以通过在CephBlockPool中指定不同的存储类别来实现。「副本存储:」 是一种基于副本的存储方式,其中数据被复制到多个节点上,以提高数据的可靠性和可......
  • vcenter的一个报错“数据存储与数据中心具有相同的url”
     解决方案:1、虚拟机应该不是全新安装的,尝试新安装一个虚拟机,试试看2、应该是主机数据中心有重复,我重新创建了个数据中心,在另一个数据中心,可以将此主机进行添加!我感觉应该是主机所在的数据中心有数据重复了,也就是那个url。3、原来添加过这个节点,如果该vc里注册过模版,就会保......
  • 富士通DX80存储巡检
    1.ping192.168.1.1-t#等待大概60s才能ping通(左侧mnt口)2.浏览器输入网址:192.168.1.1(root,root)3.查看 ......
  • DS4700/DS4800 存储巡检
    DS4800——(M02,连B控1口)192.168.128.100ping192.168.128.102DS4700——(O07,M04)port1B控192.168.128.102/241.安装点击0035.exe,简体中文(ok),next,next,accept(next),选择路径(next),Typical(next),Automaticallystartmonitor(next),install,Done2.连接3.查看......
  • haoop的相关介绍及概念
    文章目录前言hadoop介绍Hadoop的集群优点:关于hadoop的相关概念:分布式存储:命名空间主从节点:Block容灾前言cluster:集群LB:负载均衡LVSSLBHAPROXY,nginxHA:高可用MHA,keepalived,hearebeatHPC:Hadoop:大批量的计算辅助存储和运算什么是分布式:分散的hadoop介绍Hadoop是Lucene......
  • 【linux】RAID磁盘阵列介绍
    文章目录RAID概念RAID分类raid0特点:RAID5RAID10RAID磁盘失效如何处理热备硬raid的介绍RAID概念RAID(RedundantArrayofIndependentDisks,独立磁盘冗余阵列)可以提供较普通磁盘更高的速度、安全性,所以服务器在安装时都会选择创建RAID。RAID的创建有两种方式:软RAID(通过操作系统软件......
  • 新手搭建网站后视频资源在网站上是如何存储的?
    前言本文的起因是一个学员搭建好了一个视频文章,主要做视频的录制,每个视频在10-20M左右,每月产生10G左右的视频素材,想看看怎么存储。问题解析作为个人站,没必要花太多钱,有几种方案可以实施免费方式:将视频放在优酷,腾讯视频等网站,然后在网站上挂链接,会员点击直接跳转到优酷。收费方......
  • Linux系统介绍
    什么是Linux?可以运行在PC机上类似于Unix风格的操作系统,由众多程序员通过Internet协作开发Linux是开源的开源好处:自由软件——使用自由、研究自由、散布自由、改良自由Linux系统结构:Linux操作系统由内核及应用程序组成。不同的厂商根据各自的需要将各种应用软件和Linux内核一起打包......
  • Vue3.0学习(一)------Vue简单介绍
    什么是Vue?官方原文:Vue是一款用于构建用户界面的JavaScript框架。它基于标准的HTML、CSS和JavaScript构建,并提供了一套声明式的、组件化的编程模型,帮助你高效地开发用户界面。简单来说,Vue就是一个构建用户界面的前端框架Vue的两个核心功能声明式渲染Vue基于标准HTML扩展了一......
  • 互联网项目实战——Athena-OSS分布式文件存储服务设计
    摘要在系统中需要有统一的存储系统,用于较大型的文件和图片进行存储,Athena系统中利用开源的FastDFS来构建Athena分布式文件存储系统OSS服务。用于整个系统的存储服务。博文将详细的介绍分布式存储系统的背景和意义以及相关的技术选型与原理,供大家学习参考。一、分布式文件存储系统背......