首页 > 其他分享 >windos上安装hadoop并将文件上传至HDFS的操作

windos上安装hadoop并将文件上传至HDFS的操作

时间:2024-04-04 20:11:53浏览次数:21  
标签:hdfs HDFS hadoop datanode 文件 windos namenode localhost

参考1
参考2

1. 下载并安装hadoop

下载解压 hadoop: https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/
百度网盘: 安装包和配置文件链接:(https://pan.baidu.com/s/1SyORDDF5hxmm5-dZPuHNhA?pwd=1234)

注意:

我使用的是2.7.1版本,官网的Hadoop不支持Windows系统,需要修改一些配置方便在Windows上运行,hadooponwindows-master.zip 解压后
复制解压开的bin文件和etc文件到hadoop-2.7.1文件中,并替换原有的bin和etc文件。同时记住hadoop安装路径
image

配置环境变量(别敲错啦)
image
image

2. 修改配置文件

下面操作都在这路径下进行:(下载目录\etc\hadoop)

2.1 core-site.xml文件 (下面也一样)

image
添加如下代码:
替换后有代码最开始为:

<configuration>
 </configuration>
<configuration>
     <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
 </configuration>

2.2 hdfs-site.xml文件

image
别着急,添加之前先来创建文件夹
下载目录下
添加tmp文件夹
添加data里面创建namenode,datanode子文件夹
image
image
现在可以添加了:注意下划线


<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/home/hadoop/hadoop-2.7.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/home/hadoop/hadoop-2.7.1/data/datanode</value>
    </property>
</configuration>

2.3 hadoop-env.cmd文件

image
set JAVA_HOME=%JAVA_HOME% 把%JAVA_HOME%替换成JDK的绝对路径
image

2.4 拷贝hadoop.dll

从D:\home\hadoop\hadoop-2.7.1\bin下拷贝hadoop.dll到 C:\Windows\System32 ,不然在window平台使用MapReduce测试时报错

3. Hadoop系统进行格式化

以管理员身份打开命令提示符
输入hdfs namenode -format,看到如下所示就说明format成功
image

4.启动集群

快捷cmd
image
输入:start-all,启动hadoop集群
image

出现四个弹窗表示启动hadoop集群成功(千万别关掉了)
image
输入jps - 可以查看运行的所有节点
image
要是没有启动namenode和datanode
重新格式化Hadoop文件系统

  1. 停止Hadoop所有进程
    stop-all.sh
  2. 删除HADOOP_HOME目录下的logs和tmp目录(关键步骤),安全起见把新建namenode、datanode也看看有多的文件就删除。
  3. 重新格式化文件系统
    hdfs namenode -format
  4. 启动Hadoop进程
    start-all

我也遇到节点没有完全启动,查看启动的日志大概指导是路径问题,后面才发现配置文件没有替换(替换后就要重新配置文件)、配置namenode和datanode的时候在路径前面一定要有'/'。最终所有节点启动成功。亲测有效。
访问 http://localhost:50070,访问hadoop的web界面
image
在WEB管理页面中,点击顶部右侧的菜单选项“Utilities”,在弹出的子菜单中点击“Browse the file system”,会出现HDFS文件系统操作页面,在这个页面中可以创建、查看、删除目录和文件
访问 http://localhost:8088,访问yarn的web界面,有就表明已经成功
image

5.关闭集群

注意:要想接着操作下面的内容你就不要关闭集群
停止运行的所有节点的命令stop-all
image

6.上传测试

hadoop fs -mkdir hdfs://localhost:9000/user/
hadoop fs -mkdir hdfs://localhost:9000/user/text1
image
菜单选项"Utilities",在弹出的子菜单中点击“Browse the file system”
image
删除文件夹

hadoop fs -rm -r -skipTrash /user/text1
image

hdfs dfs -rm -r /user //此种方式user目录也会删掉

上传文件

hadoop fs -put D:\Datas\datas\r_review_1.csv hdfs://localhost:9000/E_commerce_platform
image
image

浏览目录
image

标签:hdfs,HDFS,hadoop,datanode,文件,windos,namenode,localhost
From: https://www.cnblogs.com/Pluto-Love-Learn/p/18114493

相关文章

  • 实用 Linux 命令 Windos 命令 实例演示 持续更新中
    实用Linux命令Windos命令实例演示持续更新中目录实用Linux命令Windos命令实例演示持续更新中Linux命令【Command[options][local]命令参数路径】命令对照WindowsLinuxLinux命令【Command[options][local]命令参数路径】**对于命令参数记忆......
  • 搭建hadoop本地模式
    Hadoop生态圈组件:作用:离线数据存储、离线数据计算编程语言:java语言历史:基于Google的三篇论文(Google的GFS,Google的MapReduce) 步骤:1.安装VMWare,下载镜像文件 rhel-server-7.4-x86_64-dvd右键新建虚拟机   编辑虚拟机  启动虚拟机      ......
  • 大数据实验统计-1、Hadoop安装及使用;2、HDFS编程实践;3、HBase编程实践;4、MapReduce编
    大数据实验统计1、Hadoop安装及使用;一.实验内容Hadoop安装使用:1)在PC机上以伪分布式模式安装Hadoop;2)访问Web界面查看Hadoop信息。二.实验目的1、熟悉Hadoop的安装流程。2、熟悉Hadoop访问Web界等基本操作。大数据实验一,Hadoop安装及使用-CSDN博客文章浏览阅读149次,点赞3......
  • 实现Windos系统和Ubuntu虚拟机文件互传(在虚拟机开机的状态下进行)
    1、点击虚拟机->设置->选项->共享文件夹2、将其改为总是启动,并设置一个传文件的路径3、在哪里可以找到这个共享文件夹sudomount-tfuse.vmhgfs-fuse.host://mnt/hgfs-oallow_other在这里就能找到和Windows系统共享的文件夹啦~~~需要注意的是,如果虚拟机重启,需要再次......
  • Hadoop——HDFS文件系统的Java API操作
    2.7.4org.apache.hadoophadoop-hdfs2.7.4org.apache.hadoophadoop-client2.7.4junitjunit4.12IDEA会自动保存文件并且导入依赖包,点击右侧的Maven,展开Dependencies,可以看到四个依赖包以及导入进来了三、初始化我们通过junit来进行测试,首先创建一个类,添加如下内......
  • hadoop3.0高可用分布式集群安装
    hadoop高可用,依赖于zookeeper。用于生产环境,企业部署必须的模式. 1.部署环境规划1.1.虚拟机及hadoop角色划分主机名称namenodedatanoderesourcemanagernodemanagerzkfcjournalnodezookeepermasterslave1slave21.2.软件......
  • 利用Docker搭建多容器spark 和hadoop集群
    Docker搭建hadoop和spark集群本次集群的配置如下Docker25.0.3JDK1.8Hadoop3.1.2Hive3.1.2mysql8.0.1mysql-connector-java-8.0.1.jarhive_jdbc_2.5.15.1040拉取docker镜像,初始化hadoop集群拉取docker镜像,该镜像为ubuntu:22.04,已经安装好了hadoopdockerpull......
  • hadoop-3.1.1分布式搭建与常用命令
    一、准备工作1.首先需要三台虚拟机:master、node1、node22.时间同步ntpdatentp.aliyun.com3.调整时区cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtime 4.jdk1.8java-version5.修改主机名三台分别执行vim/etc/hostn......
  • 面试题:为什么hadoop不适合存储小文件(1、从NN角度去 分析 2、DN角度分析 3、从MR角度分
    NN角度:小文件一旦很多,那么小文件的权限信息,文件大小信息,归属信息等信息就会跟着增加,每一个小文件都会产生这些信息,这些信息一旦多起来,那么NameNode的元数据就会变大,会导致元数据的大小超过小文件大小的总和,会增加NameNode的压力,有可能导致主节点崩溃,用户就无法通信了DN角度:小文件......
  • 6.Hadoop MapReduce
    6.1编辑WordCount.java创建wordcount测试目录 编辑WordCount.java输入下面代码:可以访问https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html查看importjava.io.IOException;importjava.util.String......