首页 > 其他分享 >Hadoop安装:单机布署

Hadoop安装:单机布署

时间:2024-03-13 16:12:38浏览次数:21  
标签:单机 hadoop Hadoop HOME 布署 HADOOP 2.10

对于Hadoop的布署方式来说,分为单机布署、伪分布署式布署和分布式布署三种方式。其中属单机布署最为简单。大致分为三个步骤:

1、下载Hadoop压缩包,并解压;

2、修改环境变量;

3、测试是否安装成功。

下面就这三个步骤进行详细介绍。

 

步骤详解:

0、前置条件,操作系统上已正确安装JAVA,并配置好环境变量JAVA_HOME。如果这个步骤不清楚,可点击这里

1、下载Hadoop压缩包(点击进入下载地址)【如果要其它的Hadoop历史版本,可点击这里

当前下载了hadoop-2.10.2,并在电服上新建/hadoop目录。在这里路径下对压缩包进行解压:

tar -zxvf hadoop-2.10.2.tar.gz

解压完成后,可得到hadoop-2.10.2目录。

 2、配置环境变量HADOOP_HOME

vi /etc/profile

在文件末尾添加

export HADOOP_HOME=/hadoop/hadoop-2.10.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改成功后,重新加载环境变量

source /ect/profile

3、测试是否安装成功

hadoop version

如果能看到hadoop的版本号,说明hadoop已安装并配置成功。

 

备注:

1、如果前期没有配置的JAVA_HOME环境变量,则安装后需要到$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中将JAVA_HOME变量修改成JAVA的安装目录。

 2、安装后,如果发现hadoop根目录所属权限有误,需要进行修改。

chown -R root:root hadoop-2.10.2

 3、在$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.2.jar下封装了一些例子,可以先试用一下。

在/hadoop目录下创建input和output两个目录

mkdir /hadoop/input
mkdir /hadoop/output

复制配置文件到input目录中

cp /hadoop/hadoop-2.10.2/etc/hadoop/*.xml /hadoop/input

进入mapreduce目录

cd /hadoop/hadoop-2.10.2/share/hadoop/mapreduce

 1) 词频统计wordcount

hadoop jar hadoop-mapreduce-examples-2.10.2.jar wordcount /hadoop/input/ /hadoop/output/00

 注意:输出路径不能存在,hadoop会自动创建。运行成功后到/hadoop/output/00目录下可以看到两个文件:

 第一个表示数据,可以用cat命令查看;第二个表示执行成功。

2) 圆周率pi

hadoop jar hadoop-mapreduce-examples-2.10.2.jar pi 10 10

 第一个表示执行10次map任务,第二个表示投掷次数。

 

到这里,hadoop单机版本的布署已经完成,我们可以开始hadoopr的学习之旅啦:)

 

标签:单机,hadoop,Hadoop,HOME,布署,HADOOP,2.10
From: https://www.cnblogs.com/ddcoder/p/18070865

相关文章

  • 【Spark编程基础】实验二Spark和Hadoop的安装(附源代码)
    文章目录一、实验目的二、实验平台三、实验内容和要求1.HDFS常用操作2、Spark读取文件系统的数据四、实验过程一、实验目的(1)掌握在Linux虚拟机中安装Hadoop和Spark的方法;(2)熟悉HDFS的基本使用方法;(3)掌握使用Spark访问本地文件和HDFS文件的方法。二、......
  • hadoop伪分布式环境搭建
    hadoop伪分布式(1)上传jdk、hadoop、spark安装包(2)解压安装包到指定位置tarzxf安装包.gz-C指定位置(3)重命名mv文件新文件名(4)配置jdk、hadoop、spark环境变量vim/vi/etc/profile(5)加载配置文件source/etc/profile(6)测试java-versionhadoopversions......
  • hadoop报错:is running 446528000B beyond the 'VIRTUAL' memory limit
    发现问题今天在配置hadoop文件时,报错:isrunning446528000Bbeyondthe'VIRTUAL'memorylimit.Currentusage:73.9MBof1GBphysicalmemoryused;2.5GBof2.1GBvirtualmemoryused.Killingcontainer.意思是虚拟内存,超出了限制。然后将虚拟机内存改为3G关闭集群......
  • docker部署单机版elasticsearch7
    拉取镜像dockerpulldocker.elastic.co/elasticsearch/elasticsearch:7.17.18创建本地数据、配置文件夹,修改权限sudomkdir-p/server/es7/config/server/es7/data/server/es7/logs/server/es7/pluginssudochmod777/server/es7/config/server/es7/data/server/es7/......
  • 了解hadoop
    一:大数据1:概念就是巨大的数据,TB,EB,ZB,YB等,就是传统的数据库不能处理,具有海量的数据规模,快速的数据流转(实时性),多样的数据类型(从单一的变成了多种的),价值密度(多数据,并且有效数据多,利润价值大)2:特征大量:很多数据,并且一台计算机处理不了的数据多样:结构化数据,非结构化数据a:结构化......
  • 8000MHz高频内存也赢不了AMD!锐龙7 7800X3D VS. i9-14900K网游与单机游戏性能对比
    一、前言:i9-14900K配8000MHz内存能否战胜锐龙77800X3D如今的Intel似乎有些魔怔,为了冲击高频而不顾一切。此前i9-14900K的满载功耗已经高达360W,而即将到来的i9-14900KS据闻峰值功耗已经超过400W,频率也来到了前所未有6.2GHz。与之形成强烈反差的是AMD的锐龙77800X3D,这款当前游戏......
  • centos安装单机版nacos
    效果图如下nacos其实有两个作用一个作为注册中心,二是作为配置中心系统更新sudoyumupdate安装jdksudoyuminstalljava-1.8.0-openjdk-devel nacos是在github上的,所以提前下载好了国内下载wgethttps://yourheart.live/upload/2024/02/6eiajdgnf2hk5......
  • docker-compose部署单机clickhouse
    【转载:https://www.cnblogs.com/crow1840/p/17506884.html】1、创建clickhouse目录[root@localhostdocker]#lsgitlab_dockerjenkins_dockermysql_docker[root@localhostdocker]#mkdirclickhouse/conf-p2.创建docker-compose.yml[root@localhostclickhouse]#cat......
  • Docker启动单机elasticsearch生产配置
    宿主机目录挂载在docker容器中运行elasticsearch时,需要进行配置、插件、日志和数据文件的挂载。创建挂载文件切换es用户sues01创建es本地目录cd/data&&mkdires_node1在es_node1下面创建配置、日志、数据目录cd/data/es_node1&&mkdirlogsdataconfigplugins基......
  • Elasticsearch 本地单机生产配置
    本地安装创建启动用户elasticsearch不能由root用户启动安全性:以root用户身份启动Elasticsearch会增加系统受到攻击的风险。Elasticsearch的进程可能会受到来自外部的恶意攻击,如果以root用户身份启动,攻击者可能会获取到root权限,从而对系统造成严重的损害。最小权限原则:根据最......