首页 > 其他分享 >云计算-hadoop的安装

云计算-hadoop的安装

时间:2023-10-26 12:25:07浏览次数:45  
标签:代码 sudo hadoop ssh 计算 安装 SSH

云计算的课程,主要还是要梳理逻辑(尽管我不是做这个方向的,但是课程还是要好好完成!)

前提:

安装好虚拟机VirtualBox,并且下载好Ubuntu的光盘映像文件。

文章思路:

1.配环境(SSH免密码登录,JAVA环境)

2.配Hadoop(下载包,配置相应的环境)

3.运行(感受一下实际例子)

 

 

1.配环境

1.1 前期用户等的配置

为了配置环境更加纯净,新建一个用户hadoop,并使用/bin/bash作为shell,密码输入之前设置的,我这里是123(Linux中密码不显示,命令行中只要不报错,就是没问题)

代码:

sudo useradd -m hadoop -s /bin/bash

 

再对这个用户设置密码,我这里输入的还是123~

代码:

sudu passwd hadoop

 

 再对之前添加的hadoop添加管理员权限

代码:

sudo adduser hadoop sudo

 

注销当前用户,选择hadoop启动

 

对电脑上的软件更新,防止后面莫名其妙的失败~

代码:

sudo apt-get update

 

 

1.2 SSH免密码登录

ssh的配置

Hadoop中的集群单点模式是需要用到SSH登录,Ubuntu默认参数了SSH client,此外我们还需要安装SSH Server~

代码:

sudo apt-get install openssh-server

 

安装之后就可以使用SSH登录本机了,通常我们使用SSH登录远程服务器~

代码:

ssh localhost

第一次需要输入yes,并且输入密码(如图箭头),这样就登录到本机了

 

但是还是比较麻烦,每次的登录都需要输入密码,所以我们想的是配置成无密码登录,就非常方便。

首先退出刚才登录的ssh,回到了我们原先的终端窗口

代码:

exit

 

进入到ssh目录里,利用ssh-keygen生成密钥,会有提示,都按回车

代码:

cd ~/.ssh/
ssh-keygen -t rsa

 

再将密钥加入到授权中,此时使用ssh localhost命令就无需密码登录了~

代码:

cat ./id_rsa.pub >> ./authorized_keys

 

 

 

 1.3 JAVA环境配置

接下来安装JAVA环境

首先更新软件包列表~

代码:

sudo apt-get update

 

安装openjdk-8-jdk~(要下载很多)

代码:

sudo apt-get install openjdk-8-jdk

 

查看java版本,是否安装成功

代码:

java -version

 

然后配置java环境~

 

安装gedit~

代码:

sudo apt install gedit

 

 配置java环境

代码:

gedit ~/.bashrc

输入完会打开一个文本

 

 在文件前面添加单独一行,并且保存

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

 

需要让这个环境变量生效,执行命令(第一行命令),并且查看我们设置的环境变量是否生效(第二行开始的命令)

代码:

source ~/.bashrc
echo $JAVA_HOME 
java -version
whereis java

 

以上安装完成后,就可以安装hadoop了!

 

 

--------------------------------------------------------------------------------------------------------------------------------------------------------

 

 

2.Hadoop配置

2.1 Hadoop下载

我这里是用的外接u盘,然后传到虚拟机内,具体参考:(https://zhuanlan.zhihu.com/p/658173685

 

下载好了以后,在想安装的路径下解压,这里选择将hadoop安装到/usr/local中

 

进入这个文件夹,将文件夹名改为hadoop

 

然后修改文件权限

 

可以用如下的命令查看hadoop是否是可用的,如果出现了Hadoop 3.*.*等的版本,说明是可用的

 

如上图所示,我们的hadoop已经安装好了!

下面就可以使用hadoop做一些任务了!

 

Hadoop模式默认为非分布式模式,无需进行其他配置即可运行,非分布式即单JAVA进程,方便进行调试。

标签:代码,sudo,hadoop,ssh,计算,安装,SSH
From: https://www.cnblogs.com/KeithTee/p/17784202.html

相关文章

  • K8s - 安装部署Kafka、Zookeeper集群教程(支持从K8s外部访问)
    本文演示如何在K8s集群下部署Kafka集群,并且搭建后除了可以K8s内部访问Kafka服务,也支持从K8s集群外部访问Kafka服务。服务的集群部署通常有两种方式:一种是 StatefulSet,另一种是 Service&Deployment。本次我们使用 StatefulSet 方式搭建 ZooKeeper 集群,使用 Service&Deployme......
  • Centos7.0安装.core5.0步骤
    在线安装:1.将Microsoft包签名密钥添加到受信任密钥列表,并添加Microsoft包存储库:sudorpm-Uvhhttps://packages.microsoft.com/config/centos/7/packages-microsoft-prod.rpm2.安装Asp.netCore运行时:sudoyuminstallaspnetcore-runtime-5.03.安装sdk:sudoyuminstal......
  • centos7 tar包安装jdk-8u381
    1、解压包tar-zxvfjdk-8u381-linux-x64.tar.gz-C/usr/local/2、配置环境变量cat<<EOF>>/etc/profileexportJAVA_HOME=/usr/local/jdk/jdk1.8.0_381exportJRE_HOME=/usr/local/jdk/jdk1.8.0_381/jreexportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binEOFs......
  • Python requirements.txt安装用法介绍
    一、什么是requirements.txt文件在Python项目开发中,通常需要安装多个Python包。当我们在新的项目中启动一个虚拟环境,并且想要在新的虚拟环境中安装之前的依赖包时,就可以使用requirements.txt文件来完成。这个文件包含了所有需要安装的依赖包和其版本号。requirements.txt文件可以在......
  • Jenkins安装手册
    Jenkins安装手册一、前期准备工作因为我是在Windows系统上连接Linux服务器以及需要把在Windows系统下载的安装包上传到Linux系统,所以需要用到两个工具---putty和FileZilla。Putty是一个免费的、Windows32平台下的telnet、rlogin和ssh客户端,但是功能丝毫不逊色于商业的telnet类工......
  • 安装卸载测试用例
    安装测试用例1.   启动安装程序序号01功能描述测试自动启动安装程序用例目的测试系统是否能够自动启动安装程序测试类型安装测试前提条件程序的安装文件已经存在安装盘,电脑安装了CD-ROM或其他光驱测试方法与步骤输入插入系统的安装盘期望输出电脑能自动播放安装盘的内容测试结......
  • 计算机网络概述
    计算机网络在信息时代中的作用计算机网络的定义InternetInternet:全球最大、最重要的计算机网络因特网:推荐,但却长期未得到推广互连网:目前流行最广,事实上的标准译名互联网!=互连网互连网(internet):局部范围互连起来的计算机网络计算机网络的特点互联网两个重要的基本特点......
  • Kafka 生产者API,消费者API,拦截器,流计算
    pom文件如下:<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0</version> </dependency> <dependency> <groupId......
  • Kafka 简介、集群架构、安装部署、基本命令
    一、kafka是什么?在实时计算中,Kafka主要是用来缓存数据,storm可以通过消费kafka中的数据进行实时计算。一套开源的分布式的消息队列系统,由scala写成,支持javaAPI。Kafka读消息采用topic进行归类。二、kafka中有哪两种角色?发送消息:Producer(生产者)接收消息:Consumer(消费者)三......
  • zookeeper 的安装和配置
    一、下载zookeeper以zookeeper-3.4.10为例:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/二、上传到Linux服务器我使用的是WinSCP进行上传,下载地址:https://dl.pconline.com.cn/html_2/1/86/id=7244&pn=0&linkPage=1.html三、安装解压tar包(我是解压到家目录......