首页 > 系统相关 >Linux系统下安装Hadoop环境

Linux系统下安装Hadoop环境

时间:2023-08-09 17:37:52浏览次数:41  
标签:xml hadoop Hadoop export Linux site HOME 安装 HADOOP

安装Hadoop的话,是在安装好JDK和MYSQL之后的环境下进行的;还没有安装的话,可以跳转到安装jdk环境(https://www.cnblogs.com/liuzijin/p/17591188.html)

和安装mysql环境(https://www.cnblogs.com/liuzijin/p/17591191.html)

我使用的是FinalShell远程辅助工具

1、将对应的hadoop压缩包上传到root/software文件夹里面

先是在root文件夹下面新建了一个名为software的文件夹,然后右键,点击上传,选择本机上的文件,将hadoop压缩包上传到software文件夹里面

2、解压hadoop免安装压缩包

先用cd命令进入到software的文件夹目录下:

之后输入解压命令:

tar -zxvf hadoop-3.0.0.tar.gz

3、删除压缩包文件

rm -f hadoop-3.0.0.tar.gz

4、准备配置环境

cd /root/software/hadoop-3.0.0/etc/hadoop

进入到解压后的hadoop文件夹中:

5、配置hadoop-env.sh文件关联java

进入到hadoop-env.sh文件,进入编辑模式:

vi hadoop-env.sh

注释掉原来的JAVA_HOME路径,新增JAVA_HOME的实际路径

要是记不清JAVA_HOME的实际路径,可以退出编辑模式,之后输入这个命令:echo $JAVA_HOME,查找到JAVA_HOME的实际路径:

6、配置core-site.xml文件,配置核心

进入core-site.xml文件:

vi core-site.xml

将下面的语句,添加到文件的最下面:

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop102:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/root/software/hadoop/tmp</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>

放到configuration标签的里面:


第一个红框:放虚拟机的hostname;(可以使用hostname命令查看虚拟机的主机名称)

第二个红框:在hadoop文件夹里面新建一个名为tmp的文件夹;

其余内容不需要更改!

保存退出!

7、配置hdfs-site.xml配置类型

进入到hdfs-site.xml文件中:

vi hdfs-site.xml

将下面的语句同样保存到configuration标签里面保存退出:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

无需进行内容上的更改:

8、配置mapred-site.xml文件

进入到mapred-site.xml文件里面:

vi mapred-site.xml

将下面的语句复制到configuration标签里面保存退出:

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

保存退出:

9、配置yarn-site.xml文件

进入到yarn-site.xml文件里面:

vi yarn-site.xml

将下面的语句保存到configuration的标签里面:

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop102</value>
</property>

将下面红框里面的数据呢绒改成我们虚拟机的hostname:

保存退出:

10、配置hadoop环境变量

进入到etc/profile目录下的文件内:

vi /etc/profile

将下面的语句复制到最下面的语句那里:

export HADOOP_HOME=/root/software/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出:

11、让环境变量生效

source /etc/profile

12、进行初始化

hadoop namenode -format

出现successfulstatus=0即可成功!

标签:xml,hadoop,Hadoop,export,Linux,site,HOME,安装,HADOOP
From: https://www.cnblogs.com/liuzijin/p/17591193.html

相关文章

  • Linux常用命令-日常工作配置
    1、查看指令安装list:cd/sbin2、vi退出::wq!3、没有ip命令,安装ifconfig命令:3.1、安装包:yumsearchifconfig3.2、安装依赖:yuminstallnet-tools.x86_644、查看磁盘空间:df-h5、查看mysql版本:selectversion();6、vi查询指定字符串命令模式下输入“/字符......
  • Rocky9 编译安装 Nginx Mariadb Asp.net Core6 (实测 笔记)
    引用 https://www.cnblogs.com/vicowong/p/16974219.html一、查看硬件信息1、查看物理cpu个数、核心数量、线程数grep'physicalid'/proc/cpuinfo|sort-u|wc-lgrep'coreid'/proc/cpuinfo|sort-u|wc-lgrep'processor'/proc/cpuinfo|sort-u|wc......
  • Ubuntu安装KVM(一)
    此文档只是安装KVM,管理也采用可视化管理。对kvm命令的使用还不太熟练等搞懂了之后再出一篇文档。安装软件包aptinstallqemu-kvmlibvirt-clientslibvirt-daemon-system-y启动服务systemctlstartlibvirtdsystemctlenablelibvirtd第三方管理工具我目前只......
  • Ubuntu18.04 安装Opencv3.4.15、PCL1.8.1、VTK7.1.0、Eigen3.4、Pangolin0.6、Sophus
    Eigen3.4安装方法mkdirbuild&&cdbuildcmake..sudomakeinstall安装后头文件安装在/usr/local/include/eigen3/,可以打开看一看安装的库Pangolin0.6安装方法+安装依赖项目sudoapt-getinstalllibglew-devsudoapt-getinstalllibboost-devli......
  • Linux系统常用命令
    系统:uname-a#查看内核/操作系统/CPU信息作用一致,都是用于在命令行界面显示欢迎信息cat/etc/issue#用于在命令行界面显示欢迎信息,是在login提示符之前显示,与/etc/motd作用一致cat/etc/motd#用于在命令行界面显示欢迎信息,在用户......
  • Hyper-V安装Win11报错
    安装刚开始就是无法安装,不符合要求安装时我选的是Generation2,因此需要进入虚拟机配置选择打开TPM,CPU:2,RAM也检查一下......
  • CentOS6.X命令行安装tools
    CentOS6.7操作系统下,安装Tools1、在vCenter管理平台,选中需要安装的虚拟机右击—客户机操作系统—安装VMwareTools2、进入虚拟机,打开命令行后,输入用户名及密码#mkdir/mnt/cdrom//创建挂载点目录3、#mount-tiso9660/dev/cdrom/mnt/cdrom//挂在光驱4、#ls/mn......
  • win11安装过程中无法跳过网络连接解决办法
    如图没用跳过按钮1:按shift+f10,调出cmd窗口。2:进入oobe文件夹按by然后可以tab出来,如下3:回车,重启后就有“我没有Internet连接”按钮。......
  • 「实用软件」Mudbox 2024安装包下载和安装教程 官方版特色
    mudbox2020这款软件是非常知名的动漫形象设计软件,可惜官方给出的是英文版本!今天,本站为您带来了mudbox2020汉化补丁,可以让你的mudbox2020界面显示为简体中文!软件地址:看置顶贴AutodeskMudbox2020中文版功能特点1、使用Mudbox创建漂亮的角色和环境:雕刻和绘制非常详细的3D几何图形和......
  • Ubuntu安装桌面版可视化
    安装软件包aptinstallubuntu-desktopxrdp-y配置权限adduserxrdpssl-certsystemctlrestartxrdp配置root登陆期间遇到未配置参数的时候,密码是对的但是就是登陆不了。所以建议还是操作一下比较好,配置完后需要重启一下。sudosed-i'/auth[[:space:]]*requi......