首页 > 其他分享 >BigData——HDFS操作

BigData——HDFS操作

时间:2022-09-22 17:25:54浏览次数:48  
标签:hdfs fs HDFS hadoop BigData dianxin HOME 操作 data

HDFS shell操作

配置hadoop环境变量 vi /etc/profile
export HADOOP_HOME=/usr/local/soft/hadoop-2.6.0
export PATH=.:\$JAVA_HOME/bin:\$HADOOP_HOME/bin:$PATH
然后执行 source /etc/profile

hdfs ;hdfs中输入的路径需要是绝对路径
通过hadoop fs -xx 或者 hdfs dfs -xx
查看hdfs目录:如查看根目录:hadoop fs -ls /
创建目录命令:hadoop fs -mkdir /data
删除目录或者文件:hadoop fs -rm -r /data
hdfs 将linux本地文件上传到hdfs 的路径下:如 hadoop fs -put dianxin_data.csv /data
hdfs 将文件下载到本地。hadoop fs -get /data/dianxin_data.csv /usr/local/soft/
hdfs 移动一个文件:hadoop fs -mv
hdfs 查看文件内容 :hadooop fs -cat /data/dianxin_data.csv

标签:hdfs,fs,HDFS,hadoop,BigData,dianxin,HOME,操作,data
From: https://www.cnblogs.com/young978/p/16720086.html

相关文章

  • BigData——MapReduce
    MapReduce上图是MapReduce的任务处理过程概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题.MapReduce是分布式运行的,由两个阶......
  • BigData——Hbase Shell的用法
    HbaseShell的用法whoami我是谁whoamiversion返回hbase版本信息versionstatus返回hbase集群的状态信息statustable_help查看如何操作表......
  • BigData——安装Hbase
    安装hbase1.解压缩hbase的软件包,使用命令:tar-zxvfhbase-1.3.0-bin.tar.gz2.进入hbase的配置目录,在hbase-env.sh文件里面加入java环境变量.即:exportJAVA_HOME=/bigda......
  • BigData——Hive安装
    Hive安装首先安装MySQL1、查看mysql的依赖rpm-qa|grepmysql2、删除mysql的依赖rpm-e--nodeps`rpm-qa|grepmysql`rpm-e--nodeps`rpm-qa|grepMyS......
  • 【WPF】WPF ListView GridView 操作
    wpf这方面首先就是界面代码直接上代码GridView样式分为表格头样式和表格Item样式。表格头类:GridViewColumnHeader表格Item类:ListViewItem,GridViewRowPresenter<!--......
  • 公众号的附件链接怎么添加?这样操作,三步搞定!
    公众号的附件链接怎么弄呢?也许,你会说:“那还不简单吗,直接插入超链接就可以了啊。”是的,用超链接的方式来插入附件,这个方法是可以的。但是呢,只有服务号才能用超链接的方式来......
  • 【查漏补缺】javascript中逗号操作符的拓展用法
    1.背景:今天看Vue3文档,发现一个网格案例中有一段 reduce的写法和作用如下:arr.reduce((o,key)=>((o[key]=1),o),{})//目的==>将["name","power"]转......
  • 使用Geomagic公司遥操作器Touch遥操作UR5e机器人
    应导师要求,给了我一款遥操作器,需要通过该遥操作器来操作UR5e机器人。这款遥操作器Geomagic公司出品的Touch,外型大概长这个样子: 以下是大致思路:使用moveit控制UR5e,同时利......
  • 我眼中的大数据(二)——HDFS
    Hadoop的第一个产品是HDFS,可以说分布式文件存储是分布式计算的基础,也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪,那么数据就是食材,而Hadoop分布式文件系统H......
  • Django--操作mysql实现读写分离
    django操作mysql读写分离#0mysql主从搭建好了#1在setting中配置DATABASES={#主库'default':{'ENGINE':'django.db.backends.mysql'......