首页 > 系统相关 >Hadoop-3.3.0-Centos7安装详解

Hadoop-3.3.0-Centos7安装详解

时间：2024-03-15 18:29:25浏览次数：21  
标签：虚拟机 Hadoop hadoop Centos7 export 3.3 node1 HOME node2

Hadoop3.1.3–Centos7伪分布式安装

安装包目录软件安装目录

mkdir -p /opt/sofware
mkdir -p /opt/servers
一、基础配置

​ 我们规划整个Hadoop集群由三台服务器组成,分别为node1、node2和node3

  • 配置虚拟机

​ 通过克隆方式创建的虚拟机node2和node3的主机名均与克隆源虚拟机

​ 这里需要修改虚拟机node2和node3的主机名，即将它们分别命名为node2和node3

​ 修改主机名

  • 配置虚拟机网络

    hostnamectl set-hostname node2

​ 重复上述步骤，将虚拟机node3的主机名修改为node03

  • 配置虚拟机网络

    跳转链接在Liunx系统下配置网关

  • 配置SSH免密登录功能

    分别在三台虚拟机中执行“rpm -qa | grep ssh”命令查看当前虚拟机是否安装SSH服务

    rpm -qa | grep ssh

    如果已经安装了ssh相关服务可执行“ps -e | grep sshd”命令查看SSH服务是否启动（若没有安装，则需要执行“yum install openssh-server”命令进行在线安装）

    ps -e | grep sshd
yum install openssh-server  #在线安装ssh服务

    开始配置

    输入“ssh-keygen -t rsa”指令，并根据提示，可以不用输入任何内容，连续按四次Enter键确认

    ssh-keygen -t rsa

    将公钥拷贝到需要关联的虚拟机上（即node1、node2、node3），根据提示输入“yes”和node2主机的密码123456

    执行“ssh node2”命令，验证免密登录是否成功

    ssh node2

    重复上述步骤，实现服务器node1分别到node2和node3的单向免密登录，这里不再赘述。

  • 配置IP映射

    配置IP映射，将三台虚拟机的IP地址与对应的主机名进行映射，便于后续可以直接通过主机名访问对应的主机，这里以虚拟机node1为例，具体操作步骤如下。

    执行如下命令，修改IP映射文件hosts，具体如下：

    vi /etc/hosts

    重复上述步骤，分别在虚拟机node2和node3中配置IP映射，这里不再赘述。

  • 关闭防火墙

    查看防火墙

    systemctl status firewalld.service

    关闭防火墙

    systemctl stop firewalld.service

    执行上述命令后，再次执行查看防火墙状态的命令，若是出现“inactive（dead）”，则说明防火墙已关闭

    不过此时虚拟机中的防火墙只是暂时关闭，一旦系统重启，则防火墙也会重新启动，因此需要永久关闭防火墙，防火墙开机启动，具体命令如下：

    systemctl disable firewalld.service
二、Hadoop集群伪分布式安装

  • 安装JDK

    上传Hadoop安装包到node1 /export/server 执行命令安装，安装完JDK后，还需要配置JDK环境变量。这里是将JDK添加到user_hbase用户的环境变量中，执行“vi ~/.bash_profile”命令，打开.bash_profile文件，在文件底部添加如下内容即可。

    tar -zxvf jdk-8u65-linux-x64.tar.gz -C /opt/servers/hbase_demo/

mv jdk1.8.0_65/ jdk

# 配置JDK系统环境变量
export JAVA_HOME=/opt/servers/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    在.bash_profile文件中配置完上述JDK环境变量后（注意JDK路径），保存退出即可。然后，还需要执行“source ~/.bash_profile”命令，使配置文件生效。

  • 安装并且部署Hadoop

    1、上传Hadoop安装包到node1 /export/server 执行命令安装

    hadoop-3.1.3.tar.gz

tar zxvf hadoop-3.1.3.tar.gz

# 配置JDK系统环境变量
export HADOOP_HOME=/opt/servers/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    2、修改配置文件(配置文件路径 hadoop-3.3.0/etc/hadoop)

    ①hadoop-env.sh

    #文件最后添加
export JAVA_HOME=/opt/servers/jdk
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

    ②core-site.xml

    <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/servers/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

    ③hdfs-site.xml

    <!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

    ④mapred-site.xml

    <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

    ⑤yarn-site.xml

    <!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

    ⑥workers

    node1
node2
node3

    3、分发同步hadoop安装包

    cd /export/server

scp -r hadoop-3.1.3 root@node2:$PWD
scp -r hadoop-3.1.3 root@node3:$PWD

    4、将hadoop添加到环境变量（3台机器）

    vim /etc/profile

export HADOOP_HOME=/opt/server/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

    5、Hadoop集群启动

    ①（首次启动）格式化namenode

    hdfs namenode -format

    ②脚本一键启动

    [root@node1 ~]# start-dfs.sh 
Starting namenodes on [node1]
Last login: Thu Nov  5 10:44:10 CST 2020 on pts/0
Starting datanodes
Last login: Thu Nov  5 10:45:02 CST 2020 on pts/0
Starting secondary namenodes [node2]
Last login: Thu Nov  5 10:45:04 CST 2020 on pts/0

[root@node1 ~]# start-yarn.sh 
Starting resourcemanager
Last login: Thu Nov  5 10:45:08 CST 2020 on pts/0
Starting nodemanagers
Last login: Thu Nov  5 10:45:44 CST 2020 on pts/0

    • Web UI页面

      • HDFS集群：http://node1:9870/
      • YARN集群：http://node1:8088/

标签：虚拟机,Hadoop,hadoop,Centos7,export,3.3,node1,HOME,node2
From： https://blog.csdn.net/Chinese_chen_/article/details/136722045

相关文章

  • 稳定可靠：PW2163降压芯片，实现5V至3.3V/3V高效转换，3A电流稳定输出
    在现代电子设备中，电源管理芯片发挥着至关重要的作用。PW2163作为一款高效稳定的500kHz同步降压DC-DC转换器，凭借其出色的性能和广泛的应用领域，已成为众多电子设备中的电源管理新选择。 一、PW2163的显著特点与优势PW2163具有内部集成低RDS（ON）的主开关和同步开关，这一设计有助于最......
  • 基于centos7的k8s最新版v1.29.2安装教程
    k8s概述Kubernetes是一个可移植、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。Kubernetes拥有一个庞大且快速增长的生态，其服务、支持和工具的使用范围相当广泛。Kubernetes 这个名字源于希腊语，意为“舵手”或“飞行员”。k8s这个缩写是因......
  • CentOS7升级Java11
    文章目录升级步骤1.查看已安装的jdk：2.删除旧版jdk：3.安装java11-openjdk：总结升级步骤查看当前版本java-version1.查看已安装的jdk：yumlistinstalled|grepjava2.删除旧版jdk：yumremovejava-1.7.0-openjdk*yumremovejava-1.8.0-openjdk*3.安......
  • CentOS7系统虚拟环境下pip install uwsgi遇到错误
    遇到的错误为ERROR:Couldnotbuildwheelsforuwsgi,whichisrequiredtoinstallpyproject.toml-basedprojects尝试了n种办法，按照网上的攻略甚至是ChatGPT的说法安装了一堆的环境依赖，都解决不了。最后看到有人在装其他组件遇到类似的问题，思路是要装的版本相对于所安装的......
  • Hadoop大数据应用：Linux 部署 HDFS 分布式集群
    目录  一、实验1.环境2.Linux部署HDFS分布式集群3.Linux使用 HDFS文件系统二、问题1.ssh-copy-id报错2.如何禁用sshkey检测3.HDFS有哪些配置文件4.hadoop查看版本报错5.启动集群报错6.hadoop的启动和停止命令7.上传文件报错8.HDFS使用命令  ......
  • 【5V 转 3.3V,3V,2.5V芯片首选】PW2162高效恒压转换器，外围电路超简单
    在现代电子设备高速发展的今天，一款高效、稳定的电源管理芯片对于设备的性能至关重要。PW2162，作为一款完全集成、高效的2A同步整流降压转换器，凭借其出色的性能和广泛的应用领域，正引领着电源管理领域的新纪元。首先，让我们深入了解一下PW2162的独特之处。这款转换器在宽输出电流负载......
  • Hadoop安装与使用
    Hadoop安装与使用创建Hadoop用户创建hadoop用户可以使不同用户之间有明确的权限区别，同时也可以使针对Hadoop用户的配置操作不影响其他用户的使用创建用户命令如下：sudouseradd-mhadoop-s/bin/bash设置用户密码,方便记忆可以设为hadoopsudopasswdhadoop然后为hadoop......
  • HADOOP完全分布式搭建（饭制版）
    HADOOP完全分布式搭建（饭制版）1.虚拟机安装安装系统点击VMwareWorkstation左上角文件，新建虚拟机选择自定义，点击下一步点击下一步选择稍后安装操作系统（后续我们使用的操作系统为CentOS7）,点击下一步客户机系统选择Linux,版本选择CentOS764位,点击下一步自定义安......
  • linux(centos7)通过ckman安装clickhouse并设置自启动
    软件所需安装包:链接：https://pan.baidu.com/s/1MvvS-UoZgn-c0H8pPAavEg?pwd=li9f提取码：li9f--来自百度网盘超级会员V5的分享安装ckman1.使用rpm的方式安装:将rpm包放到服务器,执行命令rpm-ivhckman-2.2.3.x86_64.rpm2.启动:systemctlstartckman3.默认来说ckman是配置了......
  • Hadoop安装：单机布署
    对于Hadoop的布署方式来说，分为单机布署、伪分布署式布署和分布式布署三种方式。其中属单机布署最为简单。大致分为三个步骤：1、下载Hadoop压缩包，并解压；2、修改环境变量；3、测试是否安装成功。下面就这三个步骤进行详细介绍。 步骤详解：0、前置条件，操作系统上已正确安装JAVA，并......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99