首页 > 其他分享 >Hadoop的写流程(微观层面)

Hadoop的写流程(微观层面)

时间:2023-09-06 14:55:47浏览次数:39  
标签:返回 存储 步骤 微观 Hadoop NameNode 流程 block 客户端

解释:

  步骤1:客户端进行发送存储消息,FileSystem通过rpc调用NameNode的put方法,NameNode对文件的路径,大小以及权限进行校验,

  步骤2:校验成功后,返回FSDateOutputStream对象给客户端进行使用

  步骤3:客户端对文件进行划分,将划分信息返回给NameNode,告诉NameNode需要多少个block块,NameNode就会通过获取的消息

block数量和副本数安排DateNode进行存储

  步骤4:将划分的消息返回给客户端,告诉客户端可以进行存储

  步骤5:客户端通过机架感知,来寻找第一个block块位置

  步骤6:当文件进行存储前DateNode之间会打开pipline通道,当数据进行存储时大小是64M(客户端将block细分了),在该NameNode存储后会返回一个ack状态,当第一个接收到最后一个返回的成功ack状态,那么数据传输完成

标签:返回,存储,步骤,微观,Hadoop,NameNode,流程,block,客户端
From: https://www.cnblogs.com/cloudya520/p/17682291.html

相关文章

  • kernel内核启动流程
    (1)自解压代码 linux-2.6.22.6\arch\arm\boot\compressed\head.S 对比于linux-2.6.22.6\arch\arm\kernel\head.S,是自解压代码+原本的代码,执行时执行自解压代码的内容(2)第一阶段: ENTRY(stext) msr cpsr_c,#PSR_F_BIT|PSR_I_BIT|SVC_MODE@ensuresvcmode ......
  • 敏捷开发 - 敏捷软件开发理论及流程
    什么是敏捷软件开发敏捷开发以用户的需求进化为核心,采用迭代、循序渐进的方法进行软件开发。在敏捷开发中,软件项目在构建初期被切分成多个子项目,各个子项目的成果都经过测试,具备可视、可集成和可运行使用的特征。换言之,就是把一个大项目分为多个相互联系,但也可独立运行的小项目,......
  • Hadoop集群安装和搭建
     简介HDFS(HadoopDistributedFileSystem)是ApacheHadoop生态系统的一部分,是一种分布式文件系统,旨在处理大规模数据集的存储和处理。以下是HDFS的一些关键特点和功能:分布式存储:HDFS将数据分布式存储在多个物理节点上,以实现高容量和高可靠性。数据被划分为多个数据块(block),并在集群......
  • 2023年下半年软考开始报名!内附报名流程~
    重磅消息!2023年下半年软考报名,终于开始了!目前已经公布2023年下半年软考报名简章的省市有:广东,深圳,安徽,河北,云南,广西,江西,四川,吉林,辽宁,新疆、山东,甘肃,海南,内蒙古,黑龙江,西藏等地。  其中江西、辽宁、内蒙古、新疆地区2023年下半年软考报名今日开始,请各位考生仔细查看报名时间,尽快完成......
  • O2OA(翱途)平台新版本流程平台新增退回功能、新增关联文档功能、新增业务数据变更记录
    尊敬的O2OA(翱途)平台合作伙伴、用户以及亲爱的开发小伙伴们,平台V8.1版本已正式发布。此次,为了更好的服务于业务场景,我们根据在项目中遇到的一些实际问题,重点也对流程平台和流程引擎做了细节上的优化,本篇将重点介绍流程平台中优化的一些细节,大家一起来看看。 ​ O2OA(翱途......
  • 简化车辆登记流程:利用腾讯云OCR实现自动化信息识别
     项目中有一块,需要用到上传车牌车牌号到系统里,用了下腾讯云的ocr车牌号识别做了个小功能。通过腾讯云的orc识别,将车牌号录入到后台。 一,首先我们需要登录到腾讯云,然后搜索一下orc或者车牌号https://curl.qcloud.com/dPX3dJRL   或者直接访问这个链接 二,进入后就是......
  • 量子场论:微观世界的深刻探索
    引言量子场论(QuantumFieldTheory,QFT)是物理学中一门描述基本粒子和它们相互作用的理论。它基于量子力学的基本原理,将经典场论中的概念量子化,将物理系统描述为一系列量子位的集合。这些量子位在空间和时间中传播,并相互作用形成各种物理现象。概念量子场论包括许多概念和方法,其......
  • API接口的对接流程和注意事项
    随着互联网技术的发展和应用的普及,API接口已经成为不同系统、不同应用之间进行交互和数据交换的重要方式。API接口使得不同的系统能够互相调用对方的功能,提高了系统的灵活性和扩展性。但是,在进行API接口对接的过程中,需要注意一些流程和事项,以确保对接的顺利进行和系统的稳定运行。......
  • 微信小程序关于用户隐私政策调整相关的开发配置流程
    前言:最近,微信小程序的开放内容调整属于是比较频繁的,先前有授权微信手机号不在免费转为收费,而在2023年9月15日前,获取一些隐私信息需要弹框请求用户授权;在此日期之后,微信的隐私政策进行了调整,需要在用户授权的同时要求用户先同意《用户隐私协议》内容后方可进行微信隐私内容获取......
  • 应用可视化流程设计,实现提质增效流程化办公!
    如果想要实现提高办公效率的目的,显然采用传统的办公方式是无法实现的。如今,在低代码技术平台深入无纸化办公的当下,应用可视化流程设计软件,可以借助其灵活、易操作、可视化、轻量级等优势特点,助力广大用户实现流程化办公,进入数字化转型新时代。在众多软件服务商中,流辰信息是一支有......