首页 > 其他分享 >window10安装单机hadoop

window10安装单机hadoop

时间:2023-10-30 14:34:25浏览次数:33  
标签:xml hdfs 单机 hadoop dfs 3.2 yarn window10

一、配置jdk

默认已配置

二、下载hadoop3.2.2

http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/

三、下载hadoop-winutils

https://github.com/cdarlint/winutils
下载后将bin中的文件全部放到hadoop/bin中

四、配置hadoop

1、进入hadoop安装文件夹下的etc/hadoop文件夹,修改以下文件内容:

(1)core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
    	<name>hadoop.tmp.dir</name>
		<value>/D:/soft/hadoop-3.2.2/tmp</value>
  	</property>
</configuration>

(2)hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/D:/soft/hadoop-3.2.2/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/D:/soft/hadoop-3.2.2/data/dfs/datanode</value>
    </property>
	  <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

(3)mapred-site.xml

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>

</configuration>

(4)yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>

</configuration>

五、格式化hdfs

进入cmd控制台输入:

hdfs namenode -format

六、启动

进入hadoop/sbin文件夹,双击start-all.cmd,出现四个弹窗

没有报错,即为成功

七、查看ui页面

http://localhost:8088

http://localhost:9870/

测试上传tif成功

八、停止hadoop
进入hadoop/sbin文件夹,双击stop-all.cmd,四个弹窗关闭。
完毕!!!

标签:xml,hdfs,单机,hadoop,dfs,3.2,yarn,window10
From: https://www.cnblogs.com/gsd-2159/p/17797780.html

相关文章

  • Redis的四种模式:单机、主从、哨兵、集群简介
    Redis的单机模式单机模式就是安装一个redis,启动起来,业务调用即可。具体安装步骤和启动步骤就不赘述了,单机在很多场景也是有使用的,例如在一个并非必须保证高可用的情况下。单机的优点:部署简单,0成本。成本低,没有备用节点,不需要其他的开支。高性能,单机不需要同步数据,数据......
  • MinIO 高性能分布式存储最新版单机与分布式部署
    目录一、概述二、单机部署(单主机,多硬盘模式)1)磁盘初始化2)创建服务启动用户并设置磁盘属主3)下载minio安装包4)修改配置5)配置systemctl启动6)客户端工具mc三、分布式集群部署(多主机、多硬盘模式)1)磁盘初始化2)创建服务启动用户并设置磁盘属主3)下载minio安装包4)修改配置5)配置syste......
  • Nacos单机模式配置远程数据源、配置身份认证
    1.nacos介绍官网链接:https://nacos.io/zh-cn/docs/what-is-nacos.htmlGithub:https://github.com/alibaba/nacos/Nacos/nɑ:kəʊs/是DynamicNamingandConfigurationService的首字母简称,一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。Nacos致力于......
  • 云计算-hadoop的安装
    云计算的课程,主要还是要梳理逻辑(尽管我不是做这个方向的,但是课程还是要好好完成!)前提:安装好虚拟机VirtualBox,并且下载好Ubuntu的光盘映像文件。文章思路:1.配环境(SSH免密码登录,JAVA环境)2.配Hadoop(下载包,配置相应的环境)3.运行(感受一下实际例子)  1.配环境1.1前期用户等的配置......
  • Hadoop-大数据组件版本号查看
    1.操作系统cat /etc/redhat-release; 2.JDKjava-version 3.SCALAscala --version 4.MySQLmysql--version 5.Zookeeperps-ef|grep-E“zookeeper-.*.jar” 6.Hadoophadoopversion 7.Hivehive --version 8.Hbasehbaseversion 9.Sparkspark-subm......
  • swing 按钮 单机 双击 长按
    importcom.other.TimerUtils;importjavax.swing.*;importjava.awt.event.MouseAdapter;importjava.awt.event.MouseEvent;importjava.util.Date;importjava.util.Timer;importjava.util.TimerTask;/***单机双击长按*/publicabstractclassMyMouseListene......
  • docker-安装单机版redis
    一 目的在docker中,安装单机版redis 二步骤1.从镜像中心拉取redis1.1查看镜像中心redis镜像,本例选择redis:7.0 1.2拉取redis镜像dockerpullredis:7.0   2.创建数据卷目录(挂载点在redis配置目录)2.1宿主机创建数据卷目录mkdir-p/docker/redis/2......
  • 两台实体机器4个虚拟机节点的Hadoop集群搭建(Ubuntu版)
    安装UbuntuLinux元信息两台机器,每台机器两台UbuntuUbuntu版本:ubuntu-22.04.3-desktop-amd64.iso处理器数量2,每个处理器的核心数量2,总处理器核心数量4单个虚拟机内存8192MB(8G),最大磁盘大小30G参考链接清华大学开源软件镜像站https://mirrors.tuna.tsinghua.edu.cn/ubunt......
  • Hadoop的安装
    安装JDK设置环境变量配置Hadoop下载hadoop安装包#wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz配置hadoop-env.sh(/usr/local/src/hadoop-3.2.0/etc/hadoopex)配置core-site.xml配置hdfs-sit......
  • 报错Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.meta
    在执行hive on spark的时候 上面的错误可能有以下几种问题:1.版本问题 不匹配2.时间参数问题  设置的参数太小了3.在hive-site.xml文件中没有配置spark的home我的问题属于第一个问题导致没有跑成功当时也在想是不是内存出现了问题 ......