首页 > 其他分享 >Hadoop安装步骤和遇到的坑

Hadoop安装步骤和遇到的坑

时间:2024-04-22 09:56:04浏览次数:22  
标签:步骤 Hadoop yarn hadoop master usr address 安装 2.6

  • Hadoop

  • 安装

安装并配置hadoop-2.6.4(在master中)

(1)将hadoop-2.6.4.tar.gz安装包复制到hadoop文件目录下(与windows环境下类似)。

(2)解压hadoop-2.6.4.tar.gz

cd

cd  hadoop

tar  -zxvf  hadoop-2.6.4.tar.gz

添加环境变量: vim /etc/profile

在最后添加

set hadoop environment

export HADOOP_HOME=/usr/hadoop-2.6.2

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效:source /etc/profile

配置Hadoop (cd /usr/hadoop-2.6.2)

1、vi core-site.xml

hadoop.tmp.dir

/usr/hadoop-2.6.2/tmp

Abase for other temporary directories.

fs.defaultFS

hdfs://master:9000

io.file.buffer.size

4096

2、vi hadoop-env.sh 在开头加上 export JAVA_HOME=/usr/jdk1.7.0_79

3、vi yarn-env.sh 在开头加上 export JAVA_HOME=/usr/jdk1.7.0_79

4、vi hdfs-site.xml

dfs.namenode.name.dir

file:///usr/hadoop-2.6.2/dfs/name

dfs.datanode.data.dir

file:///usr/hadoop-2.6.2/dfs/data

dfs.replication

2

dfs.nameservices

hadoop-cluster1

dfs.namenode.secondary.http-address

master:50090

dfs.webhdfs.enabled

true

5、vi mapred-site.xml

mapreduce.framework.name

yarn

true

mapreduce.jobtracker.http.address

master:50030

mapreduce.jobhistory.address

master:10020

mapreduce.jobhistory.webapp.address

master:19888

mapred.job.tracker

http://master.Hadoop:9001

6、vi yarn-site.xml

yarn.resourcemanager.hostname

master

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.address

master:8032

yarn.resourcemanager.scheduler.address

master:8030

yarn.resourcemanager.resource-tracker.address

master:8031

yarn.resourcemanager.admin.address

master:8033

yarn.resourcemanager.webapp.address

master:8088

7、vi slaves

slave1

slave2

8、复制到slave上 scp -r /usr/hadoop-2.6.2/ root@slave1:/usr/

9、配置slave上的Hadoop环境变量

添加环境变量: vim /etc/profile

在最后添加

set hadoop environment

export HADOOP_HOME=/usr/local/hadoop-2.8.4

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效:source /etc/profile

10、启动

先启动hadoop集群start-all.sh

标签:步骤,Hadoop,yarn,hadoop,master,usr,address,安装,2.6
From: https://www.cnblogs.com/bigleft/p/18150039

相关文章

  • 启动hadoop步骤和遇到的坑
    格式化HDFS分布式文件系统hadoopnamenode–format启动Hadoopstart-all.sh停止Hadoopstop-all.shjps命令可以看到Hadoop的所有守护进程用hdfsdfsadmin-report命令来检查,能看到DataNode状态才是正常可以通过HadoopNameNode和JobTracker的Web接口来查看集群是......
  • homebrew的安装和使用
    目录安装xcode安装homebrew有关报错解决卸载脚本安装xcode自己百度安装homebrew这可以说是网上所有brew教程中安装最快最省事的教程安装命令如下:/bin/zsh-c"$(curl-fsSLhttps://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"复制终端回车即可参考教程......
  • Calibre 2015 手动安装
    任何情况下,推荐一键安装具体参见我的文章CadenceIC617虚拟机下载和安装安装前准备下载安装包下载页面下载解压后打包成zip压缩包,再发送给虚拟机中解压安装必要依赖sudoyuminstallp7zipunzipsudoyuminstalllibXext.x86_64libXrender.x86_64libXtst.x86_64......
  • chrome浏览器离线安装包下载
    打开Chrome浏览器主页:https://www.google.cn/chrome/参数standalone=1指离线安装包,点击下载可以看到大小100M左右,不加该参数,大小只有1M多。参数platform=win则是32位,platform=win64或者不加该参数默认64位,platform=mac就可以下载Mac版本。下载win64位离线安装包 h......
  • ubuntu虚拟机安装
    默认已经下载好了VMware,现在去下载镜像文件,镜像地址:浙江大学镜像下载下载后进入VMware,右键新建虚拟机默认选项,进入到选择安装光盘映像文件,选择自己存放镜像的位置(注:最好不要有中文路径名)继续默认选项,处理器推荐2,2,4096Mb,20Gb......
  • MySQL的安装与配置——详细教程
    转载自:Winton-H原文链接免安装版的MysqlMySQL关是一种关系数据库管理系统,所使用的SQL语言是用于访问数据库的最常用的标准化语言,其特点为体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,在Web应用方面MySQL是最好的RDBMS(RelationalDatabaseManagementSys......
  • 3.Nacos安装
    Nacos安装前环境准备Nacos依赖java环境来运行。如果您使从代码开始构建并运行Nacos,还需要为此配置Maven环境,请确保是在以下环境中安装使用:64bitOS,支持Linux/Unix/Mac/Windows,推荐使用Linux/Unix/Mac。64bitJDK1.8;下载&配置。Maven3.2x+;下载&配置。下载源码......
  • MySQL安装部署
    1.查看是否已经安装Mysqlrpm-qa|grepmysql如果你查看出来有东西,可以使用下面命令将其删除(xxx为文件全名)rpm-exxx例如:rpm-qa|grepmariadb#mariadb-libs-5.5.68-1.el7.x86_64rpm-e--nodepsmariadb-libs-5.5.68-1.el7.x86_642.下载官方Mysql包1.......
  • Ubuntu20.04 安装Terminator
    在ROS中,需要频繁的使用到终端,且可能需要同时开启多个窗口,推荐一款较为好用的终端:Terminator。效果如下:1.安装sudoaptinstallterminator2.添加到收藏夹显示应用程序--->搜索terminator--->右击选择添加到收藏夹3.Terminator常用快捷键第一部份:关于在同一个标......
  • ubuntu20.04安装中文输入法
    在Ubuntu20.04这种版本相对较高的系统中安装中文输入法,一般推荐使用fctix5,相比于其他的输入法,这款输入法的推荐词要好得多,而且不会像ibus一样莫名其妙地失灵。1.安装fctix5sudoapt-getinstallfcitx5fcitx-chinese-addons进行配置sudovim~/.pam_environment在文件下方输......