HDFS文件块
HDFS的文件在物理上是分块存储 块的大小可以通过配置参数来规定,一般是2^n,2.x/3.x是128M,1.x中是64M。
块设置的太大,会增大处理时间。
块设置的太小,会增加寻址时间。
HDFS块大小设置主要取决于磁盘传输速率。
HDFS的SHell操作
命令首先启动Hadoop集群,主要是dfs
sbin/start-dfs.sh sbin/start-yarn.sh 或者是前面自己封装了myhadoop脚本 myhadoop.sh stop/strat
基本命令:hadoop fs / hdfs dfs
帮助命令: hadoop fs - help 需要查询的命令
创建文件夹:hadoop fs -mkdir 需要创建文件夹的名称
上传:
-moveFromLocal:从本地剪切到HDFS
-copyFromLocal:从文件系统中拷贝文件去HDFS路径中
-put:等同于copyFromLocal
-appendToFile:追加一个文件到已经存在的文件末尾
下载:下载的时候可以重命名
-copyToLocal :从HDFS拷贝到本地
-get:等同于copyToLocal
HDFS直接操作
-ls显示目录信息
-cat显示文件内容
-cahgrp -chmod -chowm:修改文件所属权限
-mkdir:创建路径
-cp:从HDFS一个路径拷贝到另一个路径
-mv:在HDFS中移动文件
-tail:显示一个文件夹的1kb的数据
-rm 删除文件或文件夹
-rm -r 递归删除目录及目录里面的内容
-du 统计文件夹的大小信息
-setrep 设置HDFS中文件的副本数量
标签:HDFS,文件,十八,Hadoop,dfs,hadoop,文件夹 From: https://www.cnblogs.com/zhaolei0419/p/16585165.html