首页 > 其他分享 >Hadoop详细安装步骤，附带安装完的虚拟机。

Hadoop详细安装步骤，附带安装完的虚拟机。

时间：2024-10-03 08:53:00浏览次数：6  
标签：root 虚拟机 Hadoop hadoop etc export 3.3 servers 安装

Hadoop集群搭建笔记

blibli视频链接：

文档和 虚拟机（4个多G，比原先的小）分享在最下面，不懂的话发邮件到：[email protected]

环境：window11家庭中文版 23H2

VMware16.1.2

镜像：CentOS-7-x86_64-DVD-2009.iso

jdk:jdk-8u202-linux-x64.tar.gz

hadoop:hadoop-3.3.5.tar.gz

集群分布

主机 角色
node1（192.168.100.100） NN DN RM NM
node2（192.168.100.101） SNN DN NM
node3（192.168.100.102） DN NM

/export/servers 存放软件

/export/software 存放安装包

/export/data 存放数据

1.创建玩node1,完整复制2个后改IP和名字。

主机名修改：

vi /etc/hostname
vi /etc/hosts

2.修改IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

把IP改一下就行其他别动。

3.关防火墙和SSH免密

关闭防火墙

#关闭防火墙
systemctl stop firewalld.service
#关闭开机自启
systemctl disable firewalld.service
#查看防火墙状态
firewall-cmd --state

SSH免密

#node1生成公钥私钥 (一路回车)
ssh-keygen -t rsa
#node1配置免密登录到node1 node2 node3
cd /root/.ssh
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

时间同步

ntpdate ntp5.aliyun.com

4.安装JDK

/export/servers 存放软件

/export/software 存放安装包

/export/data 存放数据

创建目录

mkdir -p /export/servers
mkdir -p /export/software
mkdir -p /export/data

传送JDK和Hadoop安装包到software

解压JDK

tar -zxvf jdk-8u202-linux-x64.tar.gz -C /export/servers/

配置环境变量

#/etc/profile 存放环境变量
vi /etc/profile
#添加
export JAVA_HOME=/export/servers/jdk1.8.0_202
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#重现加载环境变量
source /etc/profile
#查看JDK
java -version

分发JDK和环境变量

#分发JDK
scp -r /export/servers/jdk1.8.0_202 root@node2:/export/servers/
scp -r /export/servers/jdk1.8.0_202 root@node3:/export/servers/
#分发环境变量
scp -r /etc/profile root@node2:/etc
scp -r /etc/profile root@node3:/etc
#重现加载环境变量
source /etc/profile
#查看JDK
java -version

5.安装Hadoop

解压Hadoop

tar -zxvf /export/software/hadoop-3.3.5.tar.gz -C /export/servers/

配置系统变量

vi /etc/profile
#添加以下代码
export HADOOP_HOME=/export/servers/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#重启变量
source /etc/profile
#查看版本
hadoop version

重点：修改配置文件

1.配置Hadoop运行环境：修改：/export/servers/hadoop-3.3.5/etc/hadoop/hadoop-env.sh

cd /export/servers/hadoop-3.3.5/etc/hadoop/
vi hadoop-env.sh
#添加以下代码
export JAVA_HOME=/export/servers/jdk1.8.0_202
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2.配置Hadoop：修改：/export/servers/hadoop-3.3.5/etc/hadoop/core-site.xml

vi core-site.xml
#添加到<configuration>
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.5</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

3.配置HDFS：修改：/export/servers/hadoop-3.3.5/etc/hadoop/hdfs-site.xml

vi hdfs-site.xml
#添加到<configuration>
<!-- 设置HDFS的副本为2 -->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

4.配置MapReduce:修改：/export/servers/hadoop-3.3.5/etc/hadoop/mapred-site.xml

vi mapred-site.xml
#添加到<configuration>
<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

5.配置YARN：修改：/export/servers/hadoop-3.3.5/etc/hadoop/yarn-site.xml

vi yarn-site.xml
#添加到<configuration>
<!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

6.配置Hadoop的从节点:修改：/export/servers/hadoop-3.3.5/etc/hadoop/workers

vi workers
#删除完，改为：
node1
node2
node3

7.分发Hadoop

scp -r /export/servers/hadoop-3.3.5 root@node2:/export/servers/
scp -r /export/servers/hadoop-3.3.5 root@node3:/export/servers/

8.分发环境变量：

scp -r /etc/profile root@node2:/etc
scp -r /etc/profile root@node3:/etc
#重现加载环境变量
source /etc/profile

6.格式HDFS

1.只格式一次，不然前功尽弃

2.在node1格式，不然前功尽弃

3.建议打快照。

hdfs namenode -format

发现这个就成功了

7.基础命令

#HDFS集群

start-dfs.sh 

stop-dfs.sh 

#YARN集群

start-yarn.sh

stop-yarn.sh

#Hadoop集群

start-all.sh

stop-all.sh 
#查看进程
jps

Hadoop启动日志路径：/export/server/hadoop-3.3.0/logs/
文档及用到安装包：链接：https://pan.baidu.com/s/1OUSWA5z654nIiBdLWWoGUA?pwd=4xb2 提取码：4xb2
虚拟机：链接：https://pan.baidu.com/s/1Qb_gL7T--PPPw62C3vU9ug?pwd=xyhl 提取码：xyhl

标签：root,虚拟机,Hadoop,hadoop,etc,export,3.3,servers,安装
From： https://www.cnblogs.com/wangyudi1029/p/18445355

相关文章

  • 在树莓派上安装c++版本的opencv并运行
     这里默认你用的是树莓派的镜像（因为ubantu对树莓派的性能占用有点大）树莓派安装使用opencvc++版本首先我们安装依赖sudoapt-getinstallbuild-essentialsudoapt-getinstallcmakelibgtk2.0-devpkg-configlibswscale-devsudoapt-getinstalllibjpeg-devlibpng......
  • macbook m1 pro 使用parallel desktop安装ubuntu24.04以及docker+网络配置
    1.使用paralleldesktop安装ubuntu这个不多说，一开始以为使用24.04版本太新，目前倒是也没遇到什么问题，直接使用pd首页提供的镜像就可以2.配置网络我本地是在macm1pro上，使用了shadowrocket，打开sr，下面设置中有一个代理共享，开启它，并配置一个端口回到ubuntu中，打开网络配置，把......
  • 记一次虚拟机无法 ping 通百度的解决方法
    先运行ipa查看网卡：1:lo:<LOOPBACK,UP,LOWER_UP>mtu65536qdiscnoqueuestateUNKNOWNgroupdefaultqlen1000link/loopback00:00:00:00:00:00brd00:00:00:00:00:00inet127.0.0.1/8scopehostlovalid_lftforeverpreferred_lftforever......
  • 关于Arch Linux 安装及一些相关问题总结
    关于个人ArchLinux安装及相关问题总结关于为什么ssj不得不使用Linux，就其根本地，是因为巨硬的Windows更新炸掉了ssj的蓝牙，Playing的时候只能接入两个设备，难绷0.其它记得在pacstrap前换国内的源不会有人和我一样没换等半天还不成功吧......
  • Win11 LTSC 2024 安装后的一些步骤
    仅作为自己记录使用。1.关闭自带的防病毒软件[可忽略]建议使用组策略关闭自带的防病毒软件2.系统激活首先通过产品密钥变更系统为LOTLTSCCGK42-GYN6Y-VD22B-BX98W-J8JXDLOTLTSC有10年的维护期，而LTSC2024仅只有5年的维护期，因此推荐使用LOTLTSC。之后使用KMS激活进行数......
  • ubuntu安装node-red
    ubuntu安装node-red安装nvm在Ubuntu系统上，可以通过以下几种方法来安装nvm（NodeVersionManager）：方法1:使用官方脚本安装这是最常见和推荐的方法。使用curl或wget来下载并运行安装脚本。使用curl安装curl-o-https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.......
  • 【Ubuntu】PlantUML工具 | 安装 | 语法 | 使用工具画序列图
    ......
  • Linux 安装 docker-compose
    原文：linux安装docker-compose（官网教程）要在Linux上安装DockerCompose命令，可以按照以下步骤进行操作：下载DockerCompose的可执行文件。可以使用以下命令下载最新版本：sudocurl-L"https://github.com/docker/compose/releases/latest/download/docker-compose-$(un......
  • PbootCMS伪静态怎么设置？（PbootCMS模板安装后内页打开404错误的解决方法）
    1.后台配置参数-URL规则选择伪静态模式登录PbootCMS后台。进入“系统设置”或相应的配置管理界面。在URL规则设置中选择“伪静态模式”。保存设置。2.根据服务器环境添加伪静态规则Apache环境：将网站根目录下的.htaccess文件复制到根目录。确认.htaccess文件内容正......
  • 安装maven
    1.下载，解压2.配置环境变量bat@echooff%1mshtavbscript:CreateObject("Shell.Application").ShellExecute("cmd.exe","/c%~s0::","","runas",1)(window.close)&&exitecho*******************************......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99