首页 > 其他分享 >面试题:为什么hadoop不适合存储小文件(1、从NN角度去 分析 2、DN角度分析 3、从MR角度分析)

面试题:为什么hadoop不适合存储小文件(1、从NN角度去 分析 2、DN角度分析 3、从MR角度分析)

时间:2024-03-28 21:22:08浏览次数:24  
标签:分析 文件 DN NN 面试题 信息 角度 MR

NN角度:小文件一旦很多,那么小文件的权限信息,文件大小信息,归属信息等信息就会跟着增加,每一个小文件都会产生这些信息,这些信息一旦多起来,那么NameNode的元数据就会变大,会导致元数据的大小超过小文件大小的总和,会增加NameNode的压力,有可能导致主节点崩溃,用户就无法通信了

DN角度:小文件一多,每一个文件都会有一个block碎片,副本也会变多,导致DataNode有很多碎片,对储存不利,也很乱

MR角度:(过几天补充)

标签:分析,文件,DN,NN,面试题,信息,角度,MR
From: https://www.cnblogs.com/peculiar/p/18102657

相关文章

  • React — 原理面试题-持续更新
    1.什么是React事件,什么是原生事件?两者的区别在哪儿?React事件:React事件是经过封装和合成的,以保证在不同浏览器上的一致性。在使用React中的事件处理时,你会给JSX元素添加事件处理函数,比如onClick、onChange等,然后在事件处理函数中处理相应的逻辑。React事件的处理方式......
  • 【编译原理】手工打造词法分析器
    难点:如何拆词?如何定义分隔符?匹配的优先级是什么?关键点:有限自动机元素拆分解析age>=45为了入门字词是如何拆分识别的,我们举一个最简单的例子age>=45只有三种类型:标识符(age)、大于号(GE)、数字字面量(IntLiteral)使用空格分隔不同的元素思路:从左到右依次读取字符......
  • 实分析中解题策略
    ......
  • 从CF1373D看最大子段和与奇偶段的分析
    Problem-1373D-Codeforces先看出了一个很显然的东西,逆转的子序列的长度必须是偶数。但之后就想错了,想到双指针和其他方法去求这个最大段。但我粗暴的通过\(a_{i+1}-a_i\)来贪心双指针明显是不对的。最大子段和只要把\(a_{i+1}-a_{i}\)转成一个数组\(b_i\)......
  • 从字节码的角度看 python swap
    从字节码的角度看pythonswap背景从一道算法题开始:反转链表classListNode:def__init__(self,v)->None:self.val=vself.next=Nonedefadd_next(self,v):new_node=ListNode(v)self.next=new_noderetur......
  • 分析方法案例
    https://boardmix.cn/app/share/CAE.CPCQwQwgASoQYfH6G5uMEQpJtTjgmX-1qTAFQAE/vvi2eu,1.正太分布检验拿到数据之后,先看数据是否满足正态分布2.统计分析描述性分析:集中趋势的度量:这些度量描述了数据的中心点或典型值,包括均值(平均数)、中位数和众数。均值是所有观......
  • 智能汽车行业的发展最新趋势分析
    智能汽车行业的发展最新趋势主要体现在以下几个方面:智能化技术的深度应用:人工智能技术在汽车领域的应用将成为2024年智能化发展的重要趋势,通过深度学习、机器学习等技术的应用,汽车将具备更加智能的决策能力,提升驾驶安全性。此外,智能座舱和自动驾驶技术的进步也是关键趋势之一......
  • MATLAB用GARCH-EVT-Copula模型VaR预测分析股票投资组合
    全文链接:http://tecdat.cn/?p=30426原文出处:拓端数据部落公众号对VaR计算方法的改进,以更好的度量开放式基金的风险。本文把基金所持股票看成是一个投资组合,引入Copula来描述多只股票间的非线性相关性,构建多元GARCH-EVT-Copula模型来度量开放式基金的风险,并与其他VaR估计方法的预......
  • 数据分析师英文简历(精选篇)
    数据分析师英文求职简历范文参考一份精准且具有说服力的英文求职简历,对于数据分析师求职至关重要,为此,我们整理一篇数据分析师英文求职简历范文,欢迎大家阅读参考。同时,也诚邀体验我们丰富的简历模板和便捷的在线制作工具,助大家轻松打造专业求职简历。WorkExperienceTime:&n......
  • 经典的八个PHP高级工程面试题(附答案)
    更多:https://www.shanhubei.com/archives/55139.html1.php如何实现不用自带的cookie函数为客户端下发cookie。对于分布式系统,如何来保存session值。这个题有点绕。考的还是COOKIE和SESSION的基础知识。服务端通过set-cookie命令来通知客户端保存cookie。只要按照......