首页 > 其他分享 >常用hdfs命令

常用hdfs命令

时间:2024-05-27 15:00:06浏览次数:25  
标签:hdfs 常用 hdp ait wangwei22 dfs 命令 home

hdfs dfs -mkdir /home/hdp-ait/wangwei22
hdfs dfs -ls /home/hdp-ait/wangwei22
hdfs dfs -du -h /home/hdp-ait/wangwei22
hdfs dfs -touchz /home/hdp-ait/wangwei22/a.txt
hdfs dfs -rm /home/hdp-ait/wangwei22/edges.txt
hdfs dfs -rm /home/hdp-ait/wangwei22/vertexs.txt

# 上传本地linux到集群
hdfs dfs -put tianye.txt /home/hdp-ait/wangwei22/a.txt
hdfs dfs -copyFromLocal edges.txt /home/hdp-ait/wangwei22/
hdfs dfs -copyFromLocal vertexs.txt /home/hdp-ait/wangwei22/

# 下载到本地
# 拷贝多个文件或目录到本地,本地要是文件夹
# local file不能和hdfs file名字相同
hdfs dfs -get /home/hdp-ait/tianye02/tianye03 ./
hdfs dfs -copyToLocal /home/hdp-ait/tianye02/tianye03 ./tianye03

# 移动
hdfs dfs -mv /path/a.txt /path/b.txt


hdfs dfs -rm -r /home/hdp-ait/tianye02/wangwei22/zyl_0609

huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

wget https://hf-mirror.com/deepseek-ai/deepseek-coder-7b-base-v1.5/resolve/main/model-00001-of-00003.safetensors?download=true

huggingface-cli download --token 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 --resume-download --local-dir-use-symlinks False TheBloke/deepseek-coder-33B-base-AWQ --local-dir ./

标签:hdfs,常用,hdp,ait,wangwei22,dfs,命令,home
From: https://www.cnblogs.com/Revelation/p/18215530

相关文章

  • matplotlib-折线图的常用操作合集
    序言:感悟:复杂的折线图,都是由基础的折线图慢慢加工绘制而成,我们通过绘制出基本折线图,然后分析需要添加的功能,慢慢润色图形即可完成复杂的图形绘制。折线图:以折线的上升或下降来表示统计数量的增减变化的统计图特点:能够显示数据的变化趋势,反映事物的变化情况。(变化)我们以一个......
  • 【VMware ESXi】使用 smbiosDump 命令获取服务器硬件信息。
    ESXi5.x之前版本,通过SSH连接至ESXi主机,同常规Linux发行版一样,可以使用dmidecode命令来了解服务器的硬件信息。但在之后版本的ESXi主机上,需要使用smbiosDump命令来获取服务器硬件信息,当然运行esxcfg-info命令也可以查找主机信息,不过并没有smbiosDump命令查看方便......
  • 【SHELL】命令使用笔记
    按行拼接两个文件awk'NR==FNR{a[NR]=$0;next}{print$0,a[FNR]}'B.txtA.txt>C.txt注:文件格式须为unix,dos格式拼接后会跨行 在指定格式的文件中查找字符串在指定格式的文件中查找字符串grep-nr"string"--include=*.{c,cpp,h}在排除指定格式的文件中查找字符串grep......
  • 国产操作系统上telnet命令详解 _ 统信 _ 麒麟 _ 中科方德
    原文链接:国产操作系统上telnet命令详解|统信|麒麟|中科方德Hello,大家好啊!今天给大家带来一篇在国产操作系统上使用telnet命令的详细介绍文章。telnet是一个经典的网络协议和工具,广泛用于测试和管理远程服务器。本文将详细介绍如何在统信UOS、麒麟KOS、中科方德等国产......
  • X-CSV-Reader:一个使用Rust实现CSV命令行读取器
    ......
  • 32道HDFS高频题整理(附答案背诵版)
    简述什么是HDFS,以及HDFS作用?HDFS,即HadoopDistributedFileSystem,是Hadoop分布式文件系统。它是一个专门为了存储大量数据而设计的文件系统,能够在廉价的商用硬件上提供高吞吐量的数据访问,非常适合那些有大量数据集的应用程序。HDFS的设计目标是处理大文件,它支持的文件尺......
  • Qt 常用类 (8)—— QIcon
    QIcon类代表图标,实现在QtGui共享库中。QIcon对象可以认为是一系列图像的组合,每个图像代表窗口在某种状态下应该1显示的图标。QIcon类支持以下构造函数:QIcon();//构造一个空图像构成的图标QIcon(constQPixmap&pixmap);//从Pixmap对象......
  • 【Spring】使用Spring常用导入依赖介绍
    当使用Spring框架时,以下是常用导入的依赖的详细介绍,按照不同的功能和类别进行分点表示和归纳:1、核心依赖SpringCore(spring-core)功能:提供了Spring框架的基础功能,包括IoC(控制反转)和DI(依赖注入)的基础支持。重要性:Spring框架的基石,任何Spring项目都需要。SpringBeans(spri......
  • 通过vconfig命令配置VLAN
    #yuminstallvconfig 安装vconfig命令包#modprobe8021q加载8021q模块,若不支持8021q模块,则不支持VLAN#lsmod|grep-i8021q #vconfigaddeth0100 在eth0上配置VLAN100#vconfigaddeth0200 在eth0上配置VLAN200#vconfigset_flageth0.10011设置VLAN的REO......
  • 分享几个嵌入式中常用的GUI~
    一、什么是GUI?GUI是图形用户界面(GraphicalUserInterface,简称GUI,又称图形用户接口)是指采用图形方式显示的计算机操作用户界面。通过GUI框架,用户可直接地与设备进行交互,完成各种操作,可提高工作效率以及用户体验。接下来看一下我们开发中常用的GUI框架有哪些吧~二、开源轻......