首页 > 其他分享 >Hadoop-3.3.5 自动安装

Hadoop-3.3.5 自动安装

时间:2023-10-14 13:33:55浏览次数:28  
标签:Hadoop hadoop echo 3.3 install download 安装 dir

Hadoop-3.3.5 自动安装脚本

为了方便数据科学与大数据技术的 hadoop-3.3.5 安装与配置

目前适用于新安装的纯净虚拟机,未配置冲突检测..

所以安装的话请使用全新创建的机器以避免错误...

如何使用

  1. ssh localhost 输入你目前用户的密码
  2. exit 退出当前ssh终端(此举是为自动建立.ssh文件夹并记录known_hosts文件)
  3. 然后将下列代码复制进 hadoop_create.sh中 (vim hadoop_create.sh
  4. chmod +x hadoop_create.sh (为该文件添加可执行权限)
  5. 在你保存该文件的文件夹里输入./hadoop_create.sh,启动该脚本。
#!/bin/bash
# Set up Java下载链接、目录和Java安装目录
download_url_java="https://aka.ms/download-jdk/microsoft-jdk-21.0.0-linux-x64.tar.gz"
download_dir="$HOME/Download"
java_install_dir="$HOME/JavaRuntime"

# 设置SSH密钥和目录
ssh_key_dir="$HOME/.ssh"
ssh_key_file="$ssh_key_dir/id_rsa"

# 设置Hadoop下载链接、目录和Hadoop安装目录
hadoop_download_url="https://archive.apache.org/dist/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz"
hadoop_download_dir="$download_dir"
hadoop_install_dir="$HOME/HadoopRuntime"

# 创建Hadoop数据目录结构
hadoop_tmp_dir="$hadoop_install_dir/data/tmp"
hadoop_datanode_dir="$hadoop_install_dir/data/datanode"
hadoop_namenode_dir="$hadoop_install_dir/data/namenode"
mkdir -p "$hadoop_tmp_dir"
mkdir -p "$hadoop_datanode_dir"
mkdir -p "$hadoop_namenode_dir"

# 生成SSH密钥并添加到authorized_keys
echo '========================================='
echo '=                                       ='
echo '=                                       ='
echo '=   Now is Configure the SSH            ='
echo '=                                       ='
echo '=                                       ='
echo '=                       --- Utree       ='
echo '=                                       ='
echo '========================================='

if [ ! -f "$ssh_key_file" ]; then
    mkdir -p "$ssh_key_dir"
    ssh-keygen -t rsa -f "$ssh_key_file" -N ""
    cat "$ssh_key_file.pub" >> "$ssh_key_dir/authorized_keys"
    echo "SSH密钥对已生成并添加到authorized_keys."
else
    echo "SSH密钥对已存在,未执行生成步骤."
fi

# 确保Download目录存在
mkdir -p "$download_dir"

echo '========================================='
echo '=                                       ='
echo '=                                       ='
echo '=   Now is Configure the Java Runtime   ='
echo '=                                       ='
echo '=                                       ='
echo '=                       --- Utree       ='
echo '=                                       ='
echo '========================================='

# 使用wget下载Java文件
wget "$download_url_java" -P "$download_dir" -O "$download_dir/jdk-21_linux-x64_bin.tar.gz"

# 检查Java下载是否成功
if [ $? -eq 0 ]; then
    echo "Java 21下载成功,已保存在$download_dir 目录下."

    # 创建Java安装目录
    mkdir -p "$java_install_dir"

    # 解压Java文件
    tar -xzvf "$download_dir/jdk-21_linux-x64_bin.tar.gz" -C "$java_install_dir"

    # 配置Java环境变量
    echo "export JAVA_HOME=$java_install_dir/jdk-21+35" >> "$HOME/.bashrc"
    echo 'export PATH=$JAVA_HOME/bin:$PATH' >> "$HOME/.bashrc"

    # 使配置生效
    source "$HOME/.bashrc"

    echo "Java 21已安装到$java_install_dir 目录,并已配置到~/.bashrc中."
else
    echo "Java 21下载失败."
fi

# 下载和安装Hadoop
# 使用wget下载Hadoop文件
echo '========================================='
echo '=                                       ='
echo '=                                       ='
echo '=   Now is Configure the Hadoop.        ='
echo '=                                       ='
echo '=                                       ='
echo '=                       --- Utree       ='
echo '=                                       ='
echo '========================================='

wget "$hadoop_download_url" -P "$hadoop_download_dir"

# 检查Hadoop下载是否成功
if [ $? -eq 0 ]; then
    echo "Hadoop 3.3.5下载成功,已保存在$download_dir 目录下."

    # 创建Hadoop安装目录
    mkdir -p "$hadoop_install_dir"

    # 解压Hadoop文件
    tar -xzvf "$hadoop_download_dir/hadoop-3.3.5.tar.gz" -C "$hadoop_install_dir" --strip-components=1

    echo "Hadoop 3.3.5已安装到$hadoop_install_dir 目录."

    # 配置core-site.xml
    core_site_file="$hadoop_install_dir/etc/hadoop/core-site.xml"
    cat <<EOL > "$core_site_file"
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>$hadoop_tmp_dir</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
EOL

    # 配置hdfs-site.xml
    hdfs_site_file="$hadoop_install_dir/etc/hadoop/hdfs-site.xml"
    cat <<EOL > "$hdfs_site_file"
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:$hadoop_namenode_dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:$hadoop_datanode_dir</value>
    </property>
</configuration>
EOL

    echo '========================================='
    echo '=                                       ='
    echo '=                                       ='
    echo '=   Now is Configure namenode and       ='
    echo '=   datanode....                        ='
    echo '=                                       ='
    echo '=                       --- Utree       ='
    echo '=                                       ='
    echo '========================================='
    # 配置hadoop-env.sh
    hadoop_env_file="$hadoop_install_dir/etc/hadoop/hadoop-env.sh"
    echo "export JAVA_HOME=$java_install_dir/jdk-21+35" >> "$hadoop_env_file"

    echo "Hadoop配置已完成."
    # 格式化HDFS名称节点
    $hadoop_install_dir/bin/hdfs namenode -format

echo "Hadoop配置已完成,HDFS名称节点已格式化."
else
    echo "Hadoop 3.3.5下载失败."
fi

标签:Hadoop,hadoop,echo,3.3,install,download,安装,dir
From: https://www.cnblogs.com/qiantaosama/p/17764065.html

相关文章

  • Flash8.0下载安装教程
    1、下载地址:https://www.jb51.net/softs/555686.html?pc2、在下载好之后然后双击Flash-chs.exe:出现这个弹窗界面:点击下一步;3、选择我接受协议和条款然后点击下一步;4、自定义存储位置,选择是否创建快捷方式然后直接下一步:点击安装:安装完成之后,出现这样一个弹窗界面......
  • 3DS MAX 2024中文版 下载及安装教程
    软件介绍:3DStudioMax,常简称为3dMax或3dsMAX,是Discreet公司开发的(后被Autodesk公司合并)基于PC系统的3D建模渲染和制作软件。其前身是基于DOS操作系统的3DStudio系列软件。在WindowsNT出现以前,工业级的CG制作被SGI图形工作站所垄断。 安装和使用教程:1.通过文章末尾处下载软件......
  • dreamWeaver下载安装教程
    1、下载地址:https://pan.quark.cn/s/972bf4a367052、下载好之后,且解压之后在文件夹里面找到set-up.exe文件:并使用右键以管理员身份运行,就出现了这个弹窗:3、自定义安装路径等待安装完成即可:安装成功之后点击关闭即可:下载完成啦:......
  • dbeaver离线安装clickhouse连接驱动
    jar参考:https://blog.csdn.net/nextstepfans/article/details/132586919https://blog.csdn.net/duketyson2009/article/details/98206721Clickhouse数据库连接工具——DBeaver1.下载DBeaver和连接驱动管理下载地址:https://dbeaver.io/download/https://dbeaver.io/files/d......
  • macOS 安装 clang-tidy
    先安装homebrew,网上教程很多,推荐官方教程,此处略过通过brew安装llvmbrewinstallllvm创建软连接,指向homebrew安装的clang-tidymkdir-p/usr/local/bin/ln-s/opt/homebrew/Cellar/llvm/13.0.0_1/bin/clang-tidy/usr/local/bin/clang-tidy注1:推荐创建软连......
  • Photoshop PS2024 下载与安装教程
    软件介绍:Photoshop2023(Ps2023)是Adobe公司推出的最新版本的Photoshop图像编辑软件。它在2023年发布,是目前市场上最受欢迎的图像处理软件之一。Photoshop2023提供了许多新的功能和工具,使用户能够更加轻松地进行各种图像处理操作。安装和使用教程:1.通过文章末尾处下载软件后,选中......
  • Auto CAD 2023 下载及安装教程!!!
    软件介绍:AutoCAD软件是由美国欧特克有限公司(Autodesk)出品的一款自动计算机辅助设计软件,可以用于绘制二维制图和基本三维设计,通过它无需懂得编程,即可自动制图,因此它在全球广泛使用,可以用于土木建筑,装饰装潢,工业制图,工程制图,电子工业,服装加工等多方面领域。 安装和使用教程:1.通过文......
  • Dreamweaver DW2021 下载及安装教程!
    软件介绍:AdobeDreamweaver使用所见即所得的接口,亦有HTML(标准通用标记语言下的一个应用)编辑的功能,借助经过简化的智能编码引擎,轻松地创建、编码和管理动态网站。访问代码提示,即可快速了解HTML、CSS和其他Web标准。使用视觉辅助功能减少错误并提高网站开发速度。 安装和使用教程:1......
  • Ubuntu下安装使用Powershell
    微软推出新的管理命令行工具WindowsPowershell,它是基于.net的工具,所有的管理对象都是按照.net对象来进行管理的,对使用过.net的开发人员来说就更方便了。从Powershell6.0开始,微软就将其重命名为powershell了,体现了其跨平台性,其实微软推出Powershell的时候就是把其定位为一款跨平台......
  • hadoop集群 大数据项目实战_电信用户行为分析_day01
    上图是相关配置的要求,主要创建了四个虚拟系统,有三台虚拟机搭建hadoop集群,一台作为业务系统。涉及到相关的Linux指令有::setnu[显示行号] :6[到第6行 shift+G跳到最后一行 进入vi指令后查找相关东西/(你需要查找的东西)1.配置环境、第一步设置网络参数,设置静态网络目录......