首页 > 其他分享 >Hadoop安装与使用

Hadoop安装与使用

时间:2024-03-13 22:33:05浏览次数:22  
标签:登录 sudo Hadoop rsa hadoop ssh 使用 安装

Hadoop安装与使用

创建Hadoop用户

  • 创建hadoop用户可以使不同用户之间有明确的权限区别,同时也可以使针对Hadoop用户的配置操作不影响其他用户的使用
  • 创建用户命令如下:
    sudo useradd -m hadoop -s /bin/bash
  • 设置用户密码,方便记忆可以设为hadoop
    sudo passwd hadoop
  • 然后为hadoop用户增加管理员权限,方便部署
    sudo adduser hadoop sudo

更新apt和安装Vim编辑器

  • 用hadoop用户登录Ubuntu操作系统后,需要更新apt,确保后面顺利安装一些软件
    sudo apt-get install vim
    在需要确认处输入y即可

安装SSH和配置SSH无密码登录

  • 对于Hadoop伪分布式和完全分布式而言,需要启动集群中所有机器的Hadoop守护进程,这个过程可以通过SSH登录来实现
  • Ubuntu系统默认安装了SSH服务器和客户端,这里只需要安装SSH服务端,命令如下:
    sudo apt-get install openssh-server
    安装以后,可以使用如下命令登录本机
    ssh localhost
  • 出现提示后输入"yes",并输入密码就可以登录本机了,但每次登录都需要输入密码,因此我们需要配置成SSH无密码登录
  • 退出刚才SSH登录,利用ssh-keygen生成密钥,并将密钥加入授权,具体命令如下
# 退出
$exit
# 进入.ssh目录
$cd ~/.ssh/
# 生成密钥
$ssh-keygen -t rsa
  • 生成一对密钥,使用rsa通用密钥算法,这时需要有三次回车

    5.生成后文件介绍
    这时出现几个文件,id_rsa.pub(publilc)公钥,id_rsa私钥,known_hosts是上几步输入ssh 192.168.41.102 产生的文件;
known_hosts	记录ssh访问过计算机的公钥(public key)
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥(后面会提到)

  • cat查看id_rsa.pub文件
    cat id_rsa.pub
  • 向自己发送公钥
    ssh-copy-id ...
    输入密码
  • 查看authorized_keys
    这时生成了 authorized_keys 文件,文件与id_rsa.pub内容相同
  • 退出ssh登录
    exit
  • 再次登录
    ssh ip
    此时再用ssh localhost命令,无需输入密码就可以直接登录

安装Java环境

  • hadoop本事使用java编写,因此Hadoop的开发和运行都需要Java的支持,对于Hadoop3.1.3而言,其要求使用JDK1.8安装包
  • 下载JDK安装文件(jdk-8u162-linux-x64.tar.gz),并且保存到"/home/hadoop/Downloads"目录下
    (链接:https://pan.baidu.com/s/1lKmjIaVNQQwjxEU6WQsO7w?pwd=gtin 提取码:gtin)
  • 执行如下命令创建"/usr/lib/jvm"目录来存放JDK文件
$cd /usr/lib
# 创建目录存放jvm文件
$sudo mkdir jvm /usr/lib/jvm
$cd ~ # 进入hadoop用户的主目录
$cd Downloads
$sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
# 下面继续执行如下命令,设置环境变量:
$vim ~/.bashrc
# 在该文件的开头位置添加如下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
# 保存 退出
:wq
# 输入如下指令使.bashrc生效
$source ~/.bashrc
#这是可以查看java是否安装成功
$java -version
  • 出现如下信息,则说明安装成功

``

标签:登录,sudo,Hadoop,rsa,hadoop,ssh,使用,安装
From: https://www.cnblogs.com/tomMan/p/18071704

相关文章

  • mac软件-Understand安装
    下载:链接:https://pan.baidu.com/s/1UvxgFnjv9pRVJmZO-J2OrQ 密码:nyd4启动后,开始激活,点击enter License code点击“uselegacylicenseing”点击“ADDAlicense”出现如下图,请选择“AddEvalSDL(RegCode)”弹出注册界面,输入licensecode,邮箱任意输入至此,软件“......
  • Vue中怎么使用router进行页面传参
    在响应式编程中,使用VueRouter传递参数通常涉及到以下几个方面:1.动态路由匹配动态路由匹配允许你根据URL中的参数来渲染不同的组件。这在显示用户信息、博客文章等需要根据ID或其他标识符来区分内容的情况下非常有用。例如,如果你想根据用户ID显示不同的用户信息......
  • 使用Golong轻松实现JWT身份验证
    使用Golong轻松实现JWT身份验证JSON Web Tokens (JWT)是一种流行的安全方法,用于在两个方之间表示声明。在Web应用程序领域,它们通常用作从客户端向服务器传输身份信息(声明)的方式。本教程将引导您逐步实现Go应用程序中的JWT身份验证过程。什么是JWT?JSONWebToken(JWT......
  • 【软件安装】gogs+Jenkins 在windows服务器上实现CI/CD部署
    前景最近公司实现了CICD不过是用TFS,我在想在自己的渣渣服务器和自己配置的gogs上是不是也可以,随动手实践一下,一次不小的尝试安装下载Jenkins复制这个连接到迅雷上下载会快一点,**官方网址**https://www.jenkins.io/http://ftp-chi.osuosl.org/pub/jenkins/windows-stabl......
  • windows环境安装mysql-8.0.3
    一、下载安装包地址:https://dev.mysql.com/downloads/mysql/二、删除以前的MySql服务#查找以前是否装有mysqlscquerymysql#删除mysql,以管理员身份运行#停止mysqlnetstopmysql#删除mysql服务scdeletemysql#最后检查一遍scquerymysql三、环境准备1、将下......
  • 第三十六天:Ansible安装和常见问题
    一、自动化运维应用场景1、运维职业发展路线2、企业实际应用场景分析DEV开始环境-》测试环境-》预发布环境-》发布环境-》生产环境-》灰度环境3、常见自动化运维工具Ansible:python,Agentless,中小型应用环境Saltstack:python,一般需部署agent,执行效率更高Puppet:ruby,功能强......
  • windows环境安装mysql-8.0.3
    一、下载安装包>地址:https://dev.mysql.com/downloads/mysql/###二、删除以前的MySql服务shell#查找以前是否装有mysqlscquerymysql#删除mysql,以管理员身份运行#停止mysqlnetstopmysql#删除mysql服务scdeletemysql#最后检查一遍scquerymysql###三、环......
  • Windows Docker Desktop安装教程
    1.前言这里只介绍windowsdocker安装方式,linux及macos安装方式请自行网上搜索2.下载dockerdocker官网下载地址:https://www.docker.com/get-started/3.安装dockerdesktop3.1双击exe,点击OK进行安装3.2等待安装3.3点击继续,电脑重启3.4双击运行dockerdesktop3.5点击Ac......
  • python使用pillow和opencv生成图片缩略图
    代码如下:fromioimportBytesIOfrompathlibimportPathfromtypingimportAnnotated,Literal,Optional,Tuple,Union#pipinstallpillowopencv-pythonimportcv2#type:ignore[import-untyped]importnumpyasnpfromPILimportImageImageSizeType=Ann......
  • HADOOP完全分布式搭建(饭制版)
    HADOOP完全分布式搭建(饭制版)1.虚拟机安装安装系统点击VMwareWorkstation左上角文件,新建虚拟机选择自定义,点击下一步点击下一步选择稍后安装操作系统(后续我们使用的操作系统为CentOS7),点击下一步客户机系统选择Linux,版本选择CentOS764位,点击下一步自定义安......