首页 > 其他分享 >怎么利用hadoop搭建自己的云计算

怎么利用hadoop搭建自己的云计算

时间:2024-10-31 21:47:08浏览次数:3  
标签:数据库 配置 hadoop ssh 计算 node1 node2 搭建

我们为了能够更加方便来识别主机,我们使用主机名而不是使用IP地址,以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2三台虚拟机服务器中的主机名(hostname)分别更改为master、node1、node2。

一、怎么利用hadoop搭建自己的云计算

(1) 我们为了能够更加方便来识别主机,我们使用主机名而不是使用IP地址,以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2三台虚拟机服务器中的主机名(hostname)分别更改为master、node1、node2。

命令如下:

cd /etc/   // 进入配置目录

vi hostname  // 编程hostname 配置文件

先点击 Esc : wq 保存

在另外两个节点上进行相同的操作

(2) 开启主机的DHCP模式,自动获取ip地址。方法如下:

cd /etc/sysconfig/network-scripts/           //进入网卡编辑目录

vi ifcfg-enp16777736                         //编辑网卡enp0s3的配置文件

重启网卡 service network restart

(3) 配置hosts

配置 hosts 主要是为了让机器能够相互识别主机

注:hosts文件是域名解析文件,在hosts文件内配置了 ip地址和主机名的对应关系,配置之后,通过主机名,电脑就可以定位到相应的ip地址 。

vi /etc/hosts

在hosts配置文件内容输入如下内容:使用同样的方式更改node1和node2的网卡配置。

(4) ssh 免密登录

ssh  一路回车

 ssh-keygen

使用如下命令将公钥复制要node1和node2节点中:

ssh-copy-id root@node1

ssh-copy-id root@localhost

ssh-copy-id root@node2

使用 ssh node1 实验是否能免密登录

注意:ssh免密设置后会在如下目录生成四个文件

(5) JDK环境安装(环境配置好后, 拷贝带其他节点)

在 master 中新建目录 /opt/bigdata/, 此目录下存放 hadoop 大数据所需要的环境包.

把下载好的JDK包和hadoop上传至master主机中,JDK是安装Hadoop的基础环境,所以需要优先安装好JDK环境(较好把包考到opt目录下下)

        连接好后将文件拖到opt目录下即可

解压 JDK 并配置环境变量

tar -zxvf jdk-8u181-linux-x64.tar.gz

 mv jdk1.8.0_181/ bigdata/

然后我们配置环境变量

vi /etc/profile

source /etc/profile  

java -version       #验证环境是否配置成功

(6)Hadoop 安装(环境配置好后, 拷贝带其他节点)

把 hadoop 的压缩包解压在当前文件夹然后移动到 bigdata 目录下

tar -zxvf hadoop-3.1.1.tar.gz

mv hadoop-3.1.1 bigdata/

配置 hadoop 环境变量

注:环境变量是让系统变量,在环境变量配置的命令目录后,该目录的命令将可以在任何位置都可以使用。

source profile

hadoop verison

配置 hadoop

cd /opt/bigdata/hadoop-3.1.1/etc/hadoop/

我们需要对   core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml进行配置

(1) 配置 hadoop-env.sh

编辑hadoop-env.sh文件。

命令如下:

vi hadopp-env.sh

查找JAVA_HOME 配置的位置

:/export JAVA_HOME

输入JAVA_HOME的绝对路径。

export JAVA_HOME=/opt/bigdata/jdk1.8.0_181     (要把前面的注释#去掉)

延伸阅读:

二、什么是数据库和数据库管理系统

数据库的应用非常广泛,举个例子,我们平时在浏览器上搜索内容,就要用到数据库去检索我们的关键字。以前我们可能会用数组、集合、文件等来存储数据,但是接下来我们就会面临一个问题,当存储的数据或内容过多的时候,我们如何去精准的找到我们需要的东西,这时候数据库管理系统就派上了用场。除此之外,数据库管理系统还能永久的储存我们的数据。

为了便于大家理解,这里先给大家讲解几个概念

DB数据库(database):存储数据的“仓库”。它保存了一系列有组织的数据。

DBMS数据库管理系统(Database Management System):数据库是通过DBMS创建和操作的容器。

标签:数据库,配置,hadoop,ssh,计算,node1,node2,搭建
From: https://www.cnblogs.com/cuay/p/18501094

相关文章

  • 深入理解计算机系统 3.6 数组分配和访问
    C语言中的数组是一种将标量数据聚集成更大数据类型的方式。C语言实现数组的方式非常简单,因此很容易翻译成机器代码。C语言一个不同寻常的特点是可以产生指向数组中元素的指针,并对这些指针进行运算。在机器代码中,这些指针会被翻译成地址计算。3.6.1 基本原则对于数据类型T和......
  • 啤酒瓶瓶口检测及其圆心坐标与半径计算
    第一步利用yolov8训练出最佳的检测瓶盖的模型安装环境:python>=3.8pipinstallultralytics(未用到gpu)代码:fromultralyticsimportYOLO if__name__=='__main__':  #加载预训练模型  model=YOLO('yolov8n.pt') #你可以选择其他预训练模型,如yolo......
  • 环境搭建
    一、环境的介绍(1)测试环境分类;a、开发环境,开发b、测试环境,(也叫sit环境,uat环境)测试人员c、线上环境(也叫生成环境)运营(2)测试环境作用:a、用于功能测试b、寻找bugc、编写测试用例等(3)环境的结构:lampj=linux+apache+mysql+java二、搭建环境的准备1、jdk......
  • python+flask计算机毕业设计共享汽车租赁系统的设计与实现(程序+开题+论文)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、选题背景关于共享汽车租赁系统的研究,现有研究多侧重于传统汽车租赁业务的数字化转型,主要以提升租车流程的效率和便捷性为主。专门针对共享汽车......
  • 国产化基于 Zynq-7100 的高性能计算模块FMC载板
    国产化基于Zynq-7100的高性能计算模块FMC载板是一款高性能计算模块。主控芯片采用Xilinx公司Zynq-7系列SoC家族中的XC7Z100-2FFG900(兼容XC7Z045-2FFG900,国产FMQL45T900,和XC7Z035-2FFG900)。其内含ARM公司的Cortex-A9MPCore处理器系统与Xilinx的K......
  • java+vue计算机毕设高校党建管理平台设计与现实-以西藏民族大学为例【开题+程序+论文+
    本系统(程序+源码)带文档lw万字以上文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着信息技术的飞速发展,高校党建工作面临着新的机遇与挑战。特别是在西藏民族大学这样的特殊地域环境中,如何有效管理和推进党建工作,成为了一个亟待解......
  • 25 个人计算机革命
    计算机各个组件成本下降与性能提升,使个人计算机成为可能计算机自带的basic解释器,开始了软件行业的爆发,苹果开始做计算机,选择封闭式构架,外部不能增加软硬件ibm让12个人员独自走出个人计算机,能够兼容外部软件与硬件,开始了一个生态系统,非ibm兼容的个人计算机几乎死绝苹果必须......
  • 深入计算机语言之C++:内存管理
    ......
  • C语言和Julia在数据分析和科学计算上的区别
    ###开头段落在比较C语言和Julia在数据分析和科学计算上的差异时,主要区别体现在执行效率、易用性、生态系统、以及并行计算能力。C语言以其高度的执行效率和广泛的应用背景著称,被广泛用于系统编程和性能敏感的应用。相对而言,Julia设计之初就致力于科学计算和数据分析,提供了易用......
  • 1D+洪水淹没制图软件(洼地处理、流向计算、集水面积计算、河网定义、最近邻河道相对高
    1. 软件原理简介基于洪水频率计算得到的设计洪水成果,通过水位流量关系将常见年遇洪水的洪峰流量转化为水位,进一步结合洪泛平原DEM数据,采用GIS水文分析方法计算洪泛平原内任一栅格的水流流程,耦合一维水力学模拟计算,用于大范围洪水淹没制图。淹没制图算法近似于HecRAS等水力学......