HDFS角色及概念
hadoop体系中数据存储管理的基础,是一个高度蓉错的系统,用于在低成本的通用硬件上运行
角色和概念
— Client
— NameNode
— Secondarynode
— Datanode
NameNode
— Master节点,管理HDFS的(名称空间和数据块映射信息)就是fsimag,(配置副本策略)和Els差不多,处理所有客户端请求
Secondary NameNode (简称小秘)
— 定期合并fsimage和fsedits补丁,推送给NameNode
— 紧急情况下,可辅助恢复NameNode
但Secondary NameNode并非NameNode的热备
DataNode
— 数据存储节点,存储实际数据
— 汇报存储信息给NameNode
Client (客户端,执行顺序)
— 切分文件 (1)
— 访问HdFS
— 与NameNode交互,获取文件位置信息(2)
— 与DataNode交互,读取和写入数据 (3)
Block(存储块)
— 每块128MB大小 (4)
— 每块可以多个副本
如图:
Client 切分文件 > NameNode > DataNode 每块存储128MB > 记录本 fsimgs(名称空间数据块映射信息)Secondary NameNode 定期合并fsimage和fsedits补丁推送给NameNode
Client 切分文件如3块数据给NameNode,NameNode,返回DataNode地址给Client存储,NameNode记录在fsimage上
取数据直接告诉Client取对应路径的数据
Client 更新数据修改在fsedits上Secondary NameNode 定期合并fsimage和fsedits补丁推送给NameNode
标签:存储,fsedits,hadoop,Client,DataNode,生态环境,NameNode,Secondary From: https://www.cnblogs.com/tom-service/p/17448625.html