首页 > 系统相关 >Hadoop Windows下安装

Hadoop Windows下安装

时间:2024-09-19 16:05:48浏览次数:11  
标签:xml Windows Hadoop yarn hadoop 3.2 namenode 安装

1.下载

2.环境变量


  • hadoop version验证
    问题:Error:java_home is incorrectly set
    解决:由于jdk在C盘引起:hadoop-env.cmd 加入 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_112

3.配置文件

  • core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:900</value>
	</property>
</configuration>
  • hadoop-env.sh
export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_112\bin
  • hdfs-site.xml
    在hadoop-3.2.0目录下新键data目录,再新建namenode和datanode目录
<configuration>
	<property>       
	<name>dfs.replication</name>       
	<value>1</value>   
	</property>   
	<property>       
	<name>dfs.namenode.name.dir</name>       
	<value>file:///D:/BigData/Hadoop/hadoop-3.2.0/data/namenode</value>
	</property>   
	<property>       
	<name>dfs.datanode.data.dir</name>     
	<value>file:///D:/BigData/Hadoop/hadoop-3.2.0/data/datanode</value>
	</property>
</configuration>
  • mapred-site.xml
<configuration>   
	<property>       
	<name>mapreduce.framework.name</name>       
	<value>yarn</value>   
	</property>
</configuration>
  • yarn-site.xml
<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

4.启动

  • bin目录下hdfs namenode –format
    没报错说明配置没问题

  • sbin下
    start-dfs.cmd
    start-yarn.cmd
    访问http://localhost:9870/

标签:xml,Windows,Hadoop,yarn,hadoop,3.2,namenode,安装
From: https://www.cnblogs.com/lwx11111/p/18420756

相关文章

  • 在Windows10中使用rust的diesel库
    介绍最近在学习ActixWeb时,需要用到数据库操作,简单尝试了一下diesel,也遇到了一些问题。在这里记录一下,供大家参考。1.安装根据Diesel官网介绍,使用cargobinstall安装dieselcli。cargobinstalldiesel_cli如果报错error:nosuchcommand:`binstall`需要先安装cargo-bi......
  • SVN的安装和使用手册 https://blog.csdn.net/sinat_37812785/article/det
    下载`TortoiseSVN官网下载址:https://www.visualsvn.com/visualsvn/download/tortoisesvn/ 下载完成后是这样的安装TortoiseSVN:  此处的安装地址建议不动,当然你也可以选择你要安装的地址    安装完成后在桌面点击右键查看 如果有标记的两个文件说明已经安装......
  • 如何快速创建一台Windows云服务器?
    轻量应用服务器(TencentCloudLighthouse)是新一代开箱即用、面向轻量应用场景的云服务器产品,助力中小企业和开发者便捷高效的在云端构建网站、小程序/小游戏、电商、云盘/图床以及各类开发测试和学习环境,相比普通云服务器更加简单易用,提供高带宽流量包并以套餐形式整体售卖基础云资......
  • 京东云轻量云主机搭建幻兽帕鲁服务器教程 - Windows系统
    《幻兽帕鲁》是一款备受瞩目的开放世界生存建造游戏,近期在游戏界非常火爆。玩家可以在游戏世界中收集神奇的生物“帕鲁”,并利用它们进行战斗、建造、农耕、工业生产等各种活动。与其他开放世界游戏不同,要想实现多人联机游戏,玩家需要自行搭建服务器。本教程将详细介绍如何在京东云......
  • 多平台MD5加密与验证的实践:Java、Python、Windows、Linux
    前言在上一篇文章中,我们详细介绍了MD5算法的原理及其应用场景。为了帮助开发者更好地掌握MD5的实际使用方法,本文将通过Java、Python、Windows命令行、以及Linux命令行等多种方式,讲解如何在不同平台上生成和验证MD5摘要。通过这些实例,你可以更灵活地运用MD5来处理数据完整......
  • 【Python报错已解决】AttributeError: ‘WindowsPath‘ object has no attribute ‘rs
    ......
  • reids安装部署
    一、安装tar包1.下载文件https://redis.io/downloads/2.解压文件tar-zxvfredis-7-C/opt/module/redis3.安装编译make&&makeinstall4.管理redis创建bin和etc文件夹bin:用于存放可执行文件etc:用于存放redis.conf文件5.移动文件#移动配置文件mvredis.c......
  • Hadoop(二十二)CM Kerberos基本原理
    基于CDP的CM维护Hadoop生态组件CDPClouderaDataPlatform(CDP)是Cloudera公司推出的一个全面的数据平台,它支持在多云环境中部署和管理数据CDP提供了一种统一的方法来管理数据和分析工作负载,无论是在本地、公有云还是私有云环境中CDP包括多种服务和工具,如ClouderaDataHub(CDH)......
  • Qwen2模型量化时关于bitsandbytes安装的问题
    Qwen2模型量化时关于bitsandbytes安装的问题问题描述:fromtransformersimportAutoTokenizer,AutoModelForCausalLM,GenerationConfig,BitsAndBytesConfigCUDA_DEVICE="cuda:0"model_name_or_path='/qwen2-1.5b-instruct'Tokenizer=AutoTokenizer.from_pr......
  • Adobe After Effects 2024最新版本安装与下载教程
    AdobeAfterEffects2024最新版本安装与下载教程AdobeAfterEffects(AE)是一款功能强大的视频特效和动画软件,广泛应用于影视后期制作、动态图形设计和视觉效果合成等领域。本文将详细介绍AdobeAfterEffects2024最新版本的下载和安装步骤,帮助用户顺利完成安装并开始使用这款强大......