首页 > 其他分享 >Hadoop 十八

Hadoop 十八

时间:2022-08-14 12:12:45浏览次数:58  
标签:HDFS 文件 十八 Hadoop dfs hadoop 文件夹

HDFS文件块

HDFS的文件在物理上是分块存储 块的大小可以通过配置参数来规定,一般是2^n,2.x/3.x是128M,1.x中是64M。

块设置的太大,会增大处理时间。

块设置的太小,会增加寻址时间。

HDFS块大小设置主要取决于磁盘传输速率。

HDFS的SHell操作

  命令首先启动Hadoop集群,主要是dfs

    sbin/start-dfs.sh     sbin/start-yarn.sh   或者是前面自己封装了myhadoop脚本  myhadoop.sh stop/strat

基本命令:hadoop fs / hdfs dfs

帮助命令: hadoop fs - help 需要查询的命令

创建文件夹:hadoop fs -mkdir 需要创建文件夹的名称

 

 

 

 

 

 

 上传:

    -moveFromLocal:从本地剪切到HDFS

    -copyFromLocal:从文件系统中拷贝文件去HDFS路径中

    -put:等同于copyFromLocal

    -appendToFile:追加一个文件到已经存在的文件末尾

 

 

 

 

 

   下载:下载的时候可以重命名

    -copyToLocal :从HDFS拷贝到本地

 

 

 

    -get:等同于copyToLocal

 

      HDFS直接操作

       -ls显示目录信息

       -cat显示文件内容

       -cahgrp -chmod -chowm:修改文件所属权限

       -mkdir:创建路径

       -cp:从HDFS一个路径拷贝到另一个路径

       -mv:在HDFS中移动文件

     -tail:显示一个文件夹的1kb的数据

     -rm 删除文件或文件夹

     -rm -r 递归删除目录及目录里面的内容

     -du 统计文件夹的大小信息

     -setrep 设置HDFS中文件的副本数量

标签:HDFS,文件,十八,Hadoop,dfs,hadoop,文件夹
From: https://www.cnblogs.com/zhaolei0419/p/16585165.html

相关文章

  • hadoop入门之虚拟机安装
    今天按照黑马的视频和课程资料安装了三台Centos的linux虚拟机,步骤非常简单但是视频提示会有很多踩坑的点,我就比较顺利从VMware安装到激活,网络的配置以及虚拟机的安装都非常......