首页 > 系统相关 >hdfs集群的shell操作

hdfs集群的shell操作

时间:2024-10-17 21:46:42浏览次数:3  
标签:hdfs shell ... stop dfs 集群 Linux namenode

1.进程启停管理:

一键启动hdfs集群:  start-dfs.sh

一键关闭hdfs集群:  stop-dfs.sh

单独控制进程启停:hadoop-daemon.sh (start | status | stop) (namenode | datanode | secondarynamenode)

      或者hadoop --daemon (start | status | stop) (namenode | datanode | secondarynamenode)

一键启动:

      node1进程有:

     node2进程有:

2.hdfs文件系统:

   一:hdfs与Linux一样,都是以/作为根目录的组织形式

      区分:Linux:file://路径

             hdfs;   hdfs://namenode:8020/路径

    eg:Linux:file:///etc/hello.txt   hdfs://node1:8020/etc/hello.txt

   二:操作命令:   hdfs fs [generic options]

      创建文件夹 hdfs dfs -mkdir [-p] <path>

     查看:hdfs dfs -ls <path>

     上传文件:hdfs dfs -put [-f] [-p] <localsrc>   <dst>

   查看:   hdfs dfs -cat <src> ...

      有个操作:   hdfs dfs -cat <src> | more  (此时查看可翻页)

   下载:hdfs dfs -get [-f] [-p] <src> ... <localdst>

    复制:hdfs dfs -cp [-f] <src> ... <localdst>

追加:  hdfs dfs -appendToFile <localsrc> <dst>

   移动:hdfs dfs -mv <src> <dst>

  删除:hdfs dfs -rm [ -r] 文件

        -r 就删文件夹

三:hdfs的web浏览:

     主机名:9870/

   查看文件系统

四.hdfs权限:

在Linux系统中root是超级用户

在hadoop集群中,因为中心化,超级用户为启动namenode的用户

修改权限:(与Linux很相似)

    所属用户,用户组:hdfs dfs -chown [-R] 所属用户:所属用户组 文件路径

   修改权限:hdfs dfs -chmod [-R] 777 文件路径

标签:hdfs,shell,...,stop,dfs,集群,Linux,namenode
From: https://blog.csdn.net/m0_72898512/article/details/143026612

相关文章

  • rancher安装并快速部署k8s 管理集群工具
    主机准备 准备4台主机3台用于k8s集群,1台用于rancher每台服务器新增配置文件vietc/sysctl.confnet.ipv4.ip_forward=1刷新生效sysctl–p安装docker安装的时候可以去github上检索rancher看看最新版本适配那个版本的docker,这里安装23.0.1版本yuminstall-yd......
  • k8s部署Kafka集群超详细讲解
    准备部署环境Kubernetes集群信息NAMEVERSIONk8s-masterv1.29.2k8s-node01v1.29.2k8s-node02v1.29.2Kafka:3.7.1版本Zookeeper:3.6.3版本准备StorageClass#kubectlgetscNAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPAN......
  • 【大数据技术基础 | 实验三】HDFS实验:部署HDFS
    文章目录一、实验目的二、实验要求三、实验原理(一)分布式文件系统(二)HDFS(三)HDFS基本命令(四)HDFS适用场景四、实验环境五、实验内容和步骤(一)在master服务器上确定存在hadoop安装目录(二)配置集群服务器之间SSH免密登录(三)修改HDFS配置文件(四)启动HDFS(五)通过查看进程的方式验证H......
  • Rabbitmq集群
    根据项目需要,三台机器搭建一个rabbitmq集群,10.10.10.1(虚拟IP,下同)为主节点,10.10.10.2和10.10.10.3为从节点。1、安装erlang,该软件包是rabbitMQ依赖软件包,三台机器同步安装。将安装包otp_src_18.3.tar上传到三台服务器的data目录下解压并更改文件名为erlang。tar-xvfot......
  • Zookeeper集群
    根据项目需要,三台机器搭建一个zookeeper集群,10.10.10.1(虚拟IP,下同)为主节点,10.10.10.2和10.10.10.3为从节点。1、Zookeeper安装依赖jdk,参照一步骤安装jdk,三台机器同步安装。2、上传zookeeper安装包到三台机器的/data下。3、解压安装包解压命令为:tar-zxvfzookeeper-3.4.6......
  • Redis集群部署(redis主从+哨兵)
    根据项目需要,三台机器搭建一个为redis主从+哨兵的集群,10.10.10.1(举例用的虚拟IP,下同)为主节点,10.10.10.2和10.10.10.3为从节点。1、redis部署准备工作编辑/etc/hosts文件,添加要搭建的三台机器ip跟机器名称)使用hostname查出机器名称。)在三台机器中,加入Redis集群的机器IP及机器......
  • 在K8S中,集群联邦机制有何作用?
    1.集群联邦的作用集群联邦的主要目的是为了实现跨地域的集群管理和应用部署,它可以带来以下几个方面的好处:地理分布的高可用性:通过在不同的地理位置部署多个集群,可以在某个集群发生故障时,将流量切换到另一个健康的集群上,从而提高系统的整体可用性。容灾能力增强:跨地域......
  • 关于Linux shell的简单分享
    背景前两天看到有人分享说,谷歌程序员至少要会3种语言,这要求倒也不过分。一个强类型、一个弱类型,一个工具型语言,刚好三个。想着随便更新点东西,就写几点关于工具shell语言的经验分享。在安装、部署、扩容、升级等重要场景中,Bash的方便性不言而喻。但我始终提醒大家,对代码保持敬......
  • PowerShell 实现删除指定路径X天前文件功能并添加定时JOB实例
    公司的POA服务器的E盘隔三差五就爆满,原因是数据库备份文件越来越大,现在已经大到需要高频清理的地步了十一前出现的这个问题,当时为了不专门在假期里某天特地去清理磁盘,想着一定要搞个定时JOB实现自动清理最后选用了PowerShell脚本实现新建一个txt文件,打开编辑内容如下:#设置要......
  • shell脚本自动选择空间最大的目录安装docker
    #!/bin/bash#二进制包安装docker-xy.xy.x-ce#变量unamer=`uname-r|cut-d'.'-f1-2`Max_Space=$(df|grep"^/dev"|sort-rn-k2|head-1|awk'{print$6}')Registry="mirror.eastraycloud.com:8665"#判断当前系统类型Unamer=$(uname-v|......