首页 > 其他分享 >HDFS读流程和写流程

HDFS读流程和写流程

时间:2024-12-20 20:30:10浏览次数:11  
标签:HDFS 流程 packet datanode dn1 dn2 namenode 客户端

一,读流程

1)客户端向namenode请求下载⽂件,namenode通过查询元数据,找到⽂件块所在的datanode地址。

2)挑选⼀台datanode(就近原则,然后随机)服务器,请求读取数据。

3)datanode开始传输数据给客户端(从磁盘⾥⾯读取数据放⼊流,以packet为单位来做校验)。

4)客户端以packet为单位接收,先在本地缓存,然后写⼊⽬标⽂件。

这个读流程是⽐较简单的,⾥⾯还涉及到⽤户读权限的校验以及⽂件是否存在的判断。

二,写流程

1)客户端向namenode请求上传⽂件,namenode检查⽬标⽂件是否已存在,⽗⽬录是否存在。

2)namenode返回是否可以上传。

3)客户端请求第⼀个 block上传到哪⼏个datanode服务器上。

4)namenode返回3个datanode节点,分别为dn1、dn2、dn3。

5)客户端请求dn1上传数据,dn1收到请求会继续调⽤dn2,然后dn2调⽤dn3,将这个通信管道建⽴完成。

6)dn1、dn2、dn3逐级应答客户端

7)客户端开始往dn1上传第⼀个block(先从磁盘读取数据放到⼀个本地内存缓存),以packet为单位 

8)dn1收到⼀个packet就会传给dn2,dn2传给dn3;dn1每传⼀个packet会放⼊⼀个应答队列等待应答

9)当⼀个block传输完成之后,客户端再次请求namenode上传第⼆个block的服务器。

标签:HDFS,流程,packet,datanode,dn1,dn2,namenode,客户端
From: https://blog.csdn.net/pxyxyxy/article/details/144618975

相关文章

  • 江苏省瞪羚企业申报条件、流程与注意事项
    江苏省瞪羚企业作为高成长性企业的代表,其申报工作对于推动地区经济创新发展具有重要意义。本文将详细解析江苏省瞪羚企业的申报条件、流程及注意事项,为企业提供全面的申报指导。我们将从企业的成长速度、创新能力、市场潜力等多个维度,阐述申报瞪羚企业所需满足的条件;同时,梳理......
  • 商城小程序开发有哪些流程?传统商家如何抓住小程序的流量!
    在移动互联网的浪潮下,小程序作为一种新兴的商业工具,逐渐成为商家拓展线上市场的必备选择。商城小程序的开发不仅仅是搭建一个在线商城那么简单,它需要商家在技术、用户体验、运营策略等方面进行多维度的考量。而对于传统商家来说,如何借助小程序抓住流量,更是一个亟待解决的课......
  • #Java篇:java项目init和写接口流程步骤详细
    idea里面file—new-projectServerurlhttps://start.aliyun.com目录结构数据库链接项目配置application.ymlserver:port:8888spring:datasource:url:jdbc:mysql://localhost:3306/test1?useUnicode=true&characterEncoding=UTF-8username:......
  • 昇腾MindSpeed-LLM全流程实践及踩坑记录
    目录昇腾MindSpeed-LLM全流程实践及踩坑记录1、MindSpeed-LLM简介1.1MindSpeed简介1.2MindSpeed-LLM核心功能1.3业界主流加速库对比2、全流程实践2.1环境搭建流程正式开始前必看前置:所以,一、直接在mcore下进行全流程操作;二、不要按照主页readme上的脚本执行任务指令,应当使用这......
  • mfgtools烧录流程之烧写方法
    Mfgtools工具是NXP官方提供的用于其系列产品烧写系统的软件,可以从官方网站下载,我们的ELF 1开发资料包中也放了这个工具,路径为:ELF1开发板资料包\06-常用工具\06-4烧写工具\OTG烧写\mfgtools.rar。该软件是在Windows下使用的,建议在Windows10下使用,对Winodws10系统很友好,接下来......
  • EMC——RE整改定位流程
     RE测试的主要目的是评估电子、电气产品或系统在工作状态下产生的电磁辐射干扰程度,确保其不会干扰其他电子设备,同时保证产品的电磁辐射水平在安全范围内,以保护用户免受电磁辐射的危害。RE超标之整机定位详细流程RE(RadiatedEmission,辐射发射)超标之整机定位详细流程的目的......
  • 性能测试的一般流程及性能测试场景的设计方法
    原文连接:https://mp.weixin.qq.com/s/vvQPgH7W4i61aiAt21dFfA 整理|TesterHome社区来源|部分内容来自自如技术公众号作者李文 概念介绍  什么是性能测试?性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试的过程。这......
  • 【01】优雅草央千澈详解关于APP签名以及分发-上架完整流程-如何将安卓APP-apk包和IOS
    【01】优雅草央千澈详解关于APP签名以及分发-上架完整流程-如何将安卓APP-apk包和IOS苹果app-ipa包上架至应用商店-安卓以华为|小米|vivo|oppo|应用宝为例-苹果上架以appstore为例合计三篇背景介绍2024年12月13日优雅草APP分发平台youyacao.cn建立,提供服务(优雅草2019年就曾建......
  • .NET 8.0在linux中搭建consul+ocelot+nginx转发全流程,以及docker容器化
    闲来无事自己在电脑上搭了一套docker容器化加上服务发现反向代理的套餐,在这儿把流程写个大概,后面玩儿的别踩坑了。源码地址:https://github.com/Asomnus/MyProject1.git一、环境工具1.开发:net8.0SDK、vs2022(我用的这个,支持8.0都行)、mysql、redis等等(根据业务自己选)2.虚拟机相......
  • 基于Java+SSM+HTML5疫情期间高校师生外出请假管理系统(源码+LW+调试文档+讲解等)/疫情
    博主介绍......