首页 > 其他分享 >Hadoop集群搭建前的大数据环境配置

Hadoop集群搭建前的大数据环境配置

时间:2022-10-19 22:34:30浏览次数:47  
标签:克隆 虚拟机 Hadoop MAC 集群 IP地址 节点 搭建

Hadoop集群安装配置教程
1.大数据环境配置统一
当Hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。这时,数据就可以分布到多个节点上,不同数据节点上的数据计算可以并行执行,这时的MapReduce分布式计算能力才能真正发挥作用。
为了降低分布式模式部署难度,本教程简单使用三个节点来搭建集群环境。

首先进行虚拟机克隆
1)使用VMware加载资料中虚拟机node1
image
2)克隆虚拟机,注意克隆虚拟机的时候,虚拟机必须是关闭状态
image
下一步
image
下一步
image
创建完整克隆
image
完成
image
虚拟机三重复以上操作

配置MAC地址

Slave1和Slave2都是从Master克隆过来的,他们的MAC地址都一样,所以需要让Slave1和Slave2重新生成MAC地址,生成方式如下:
image
生成新的MAC地址
image
image

配置IP地址
设置静态网络
Master,IP地址为192.168.88.181
Slave1,IP地址为192.168.88.182
Slave2,IP地址为192.168.88.183
image
image
image
测试网络
ping baidu.com -c 4
image

标签:克隆,虚拟机,Hadoop,MAC,集群,IP地址,节点,搭建
From: https://www.cnblogs.com/yuangyaa/p/16803626.html

相关文章

  • Kubernetes集群架构与组件
    Kubernetes集群架构图:简化版架构图:kube-apiserver:集群的统一入口,各组件协调者,以RESTfulAPI提供接口服务,所有对象资源的增删改查和监听都交给aipserver处理后在提交......
  • Ajax环境搭建
    #Ajax服务环境搭建###1.首先下载安装**node**###2.随便在哪新建文件夹,重命名为server(命名随便,我习惯),打开这个文件夹,按住**shift**键,右击选择**在此处打开Powers......
  • day05 搭建Jemeter自动化环境
    一、安装配置ant环境1.下载ant安装包:https://dlcdn.apache.org//ant/binaries/apache-ant-1.10.12-bin.zip ,并解压缩注意:ant版本于本地JDK版本匹配2.配置ant的环境变......
  • VSCode搭建C和C++环境
    @目录前言下载安装设置.vscodec_cpp_properties.jsonlaunch.jsonsettings.json下载CodeRunner插件运行代码VSCode我个人的配置项设置前言说明下如何在VSCode下面搭建C/......
  • 记录一次阿里云ECS搭建代理服务器的过程
    [参考资料](Tinyproxy安装与配置(ip代理)-林先生(downdawn.com))1.一键安装脚本vimproxy.sh#!/bin/bash#配置文件CONFIG_FILE="/etc/tinyproxy/tinyproxy.con......
  • K8S二进制搭建问题云集
    一、故障描述Errorfromserver:Get"https://k8s-node01:10250/containerLogs/kube-system/calico-node-98cv6/calico-node":x509:certificatesignedbyunknownaut......
  • python+selenium环境搭建
    1、首先命令行进入到python安装目录的scripts目录下2、使用pip3installselenium,由于我是安装过的,所以会提示这个3、将谷歌浏览器的driver放到python安装目录下4、代码验证......
  • 从主机名谈真实Hadoop集群与虚拟机集群管理
    由于本人不定期会整理相关博文,会对相应内容作出完善。因此强烈建议在原始出处查看此文。随着大数据的普及,Hadoop应用也越来越广泛,然而不断扩展的节点数量对运维管理也提出了......
  • 深入剖析Redis系列: Redis集群模式搭建与原理详解
    前言在Redis3.0之前,使用 哨兵(sentinel)机制来监控各个节点之间的状态。RedisCluster是Redis的 分布式解决方案,在3.0版本正式推出,有效地解决了Redis在 分布式 ......
  • 如何快速搭建k8s的kubemark性能测试环境
    Kubemark学习文档搭建k8s集群......