hadoop hdfs
- hdfs特性
首先，它是一个文件系统 用于存储文件的 提供统一命名空间的目录树结构 便于用户操作文件系统
其次，它是一个分布式文件系统 分布式意味着多台机器 当中有不同的角色 各司其职 共同配合。
- master slave 主从架构
- 主角色：namenode 管理文件系统元数据（目录树结构 文件和块的对应信息）
- 从角色：datanode 负责具体数据块存储 定时向nn进行块的汇报
- 分块存储
hadoop 2.x block size = 128M
hadoop 1.x block size = 64M
- 副本机制
- hadoop默认的副本数是3（1 + 2 = 3）
- 一次写入，多次读出
hdfs没有数据修改操作 只要是支持大数据查询分析需求
- hdfs shell命令行操作
- 格式
hadoop fs <args> 文件系统的协议：//主机名：host/文件路径
- 具体操作
hadoop fs -ls file:/// 访问是本地系统
hadoop fs -ls hdfs://node-1:8020/ 访问是hdfs文件系统
hadoop fs -ls gfs://node-1:9999/ 访问是谷歌文件系统
hadoop fs -ls / 如果不指定文件系统的协议 就会访问默认文件系统 fs.defaultFS
- 基本操作
- put 上传操作 从本地文件系统复制到目标文件系统
何谓本地文件系统？
执行命令所在的客户端的文件系统
何谓目标文件系统？
hdfs
hadoop fs -put file:///root/example-mr-1.2.jar hdfs://node-1:8020/a/b/c
hadoop fs -put example-mr-1.2.jar /a/b/
- get 下载操作 将文件下载到本地文件系统
何谓本地文件系统？
执行命令所在的客户端的文件系统
hadoop fs -get hdfs://node-1:8020/a/b/c/example-mr-1.2.jar file:///root/
hadoop fs -get /a/b/c/example-mr-1.2.jar ./
- appendToFile 把多个文件追加到已经存在文件的末尾
- 最大用处：hdfs上小文件的合并
hadoop fs -appendToFile 2.txt 3.txt /a/1.txt
- getmerge 下载合并 合并下载多个文件
hadoop fs -getmerge /small/* ./small.txt
- setrep
[root@node-3 test]# hadoop fs -setrep -w 3 /zookeeper.out
Replication 3 set: /zookeeper.out
Waiting for /zookeeper.out .... done
- 注意事项： 可以通过该命令修改hdfs中文件副本个数 在企业中避免使用该操作
- 进行副本设置修改的操作 需要hdfs集群配合文件进行数据复制 降低对外提供正常服务能力
- 通常一批文件设置为几个副本 在上传前就需要决定好
- 文件限额操作
- 可以设置某个文件夹可以用于多少个子文件 或者文件的大小限制
- 强制限制 超过即禁止
hdfs dfsadmin -setQuota 2 /user/root/lisi 开启限制 限制文件个数为2
[root@node-3 test]# hadoop fs -put 1.txt /user/root/lisi
[root@node-3 test]# hadoop fs -put 2.txt /user/root/lisi
put: The NameSpace quota (directories and files) of directory /user/root/lisi is exceeded: quota=2 file count=3 报错 显示已经超过现在
[root@node-3 test]# hdfs dfsadmin -clrQuota /user/root/lisi
[root@node-3 test]# hadoop fs -put 2.txt /user/root/lisi
[root@node-3 test]# hadoop fs -put 3.txt /user/root/lisi 清楚文件超额限制
hdfs dfs -count -q -h /user/root/lisi 查看某个路径是否开启文件超额限制
- NN和DN之间的汇报机制
- 启动集群的时候 首先启动namenode 然后启动datanode
- datanode启动的时候需要进行两件事
- 去namenode进行注册汇报 报告自己启动成功 —>我活了
- 去namenode汇报自己本机持有哪些数据块
- 集群启动之后 正常工作期间 还需要间隔指定的时间进行汇报
- datanode每隔3秒进行心跳 目的：报活
dfs.heartbeat.interval
- datanode每间隔6小时 汇报自己持有块信息
dfs.blockreport.intervalMsec
- 在启动的过程中 hdfs会进入所谓安全模式 数据只可以读不可以写 内部进行数据完整性校验
hdfs java api 操作
- 开发的版本的选择
- 因为服务器环境搭建使用的cdh 版本 ，本地开发jar版本理应也是cdh
- cdh和apache 相同版本中 api 代码 逻辑是没有区别的
- 如果使用cdh 需要手动添加cloudera maven仓库 因为它是商业公司
- 问题1：客户端身份的权限问题
Permission denied: user=AllenWoon, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
- 解决： 在客户端设置访问文件系统身份
- 问题2: hadoop本地环境的问题
- 报错现象
ERROR - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
WARN - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
- 原因：hadoop往windows平台进行数据写操作的时候 需要winutils.exe 配合才能交互。winutils.exe来自hadoop源码中C++本地库的支持。
- 解决：把hadoop源码在windows进行编译 得到winutils.exe 达到和本地操作交互的能力
- 安装： 把windows编译的hadoop解压到一个路径（没有中文 没有空格）
- 配置hadoop环境变量
HADOOP_HOME=C:\Work\soft\hadoop-2.6.0-cdh5.14.0
PATH=;%HADOOP_HOME%\bin
- 首先cmd 验证hadoop环境变量是否正确
- 确保之前安装的jdk路径也是没有中文 没有空格的
- 重启idea开发工具
- 跨hdfs集群数据复制
- 命令 distcp
hadoop distcp hdfs://node-1:8020/1.txt hdfs://itcast:8020/test/
- 使用场合
业务中涉及生成环境和开发环境之间某些数据进行交流的时候使用
- hadoop archive的使用
- 产生背景：hdfs架构设计不利于小文件存储 文件不管多小 都需要元数据描述记录 如果集群小文件过多
可能磁盘使用情况很低 但是内存使用确很高 俗称 小文件吃内存 - 档案的功能：通过mr程序 把多个小文件 合并成一个档案文件
- archive的使用
- 档案的创建
hadoop archive -archiveName test.har -p /input /outputdir
档案建立成功 为了优化小文件吃内存的情况 可以把小文件删除
hadoop fs -rm -r /input
- 档案的查看
查看建立档案之后的样子
hadoop fs -ls hdfs://node-1:8020/outputdir/test.har
查看建立档案之前的样子
hadoop fs -ls har://hdfs-node-1:8020/outputdir/test.har
可以查询出该档案是由哪些小文件合并而来
- 档案的提取
串行提取
hadoop fs -cp har:///outputdir/test.har hdfs://node-1:8020/input
hadoop distcp har:///outputdir/test.har hdfs://node-1:8020/input
- 档案的注意事项
- hdfs 快照功能
- 创建快照相当于给hdfs系统设置备份
- 创建快照的前提是文件夹已经存在
- 创建快照需要两步
- 首先允许其设置快照
hdfs dfsadmin -allowSnapshot /small
- 然后再是设置创建快照
hdfs dfs -createSnapshot /small
- 浏览快照
http://node-1:50070/explorer.html#/small/.snapshot