首页 > 其他分享 >Hadoop学习(一) 搭建伪分布式集群

Hadoop学习(一) 搭建伪分布式集群

时间:2023-11-17 17:45:58浏览次数:47  
标签:xml 文件 配置 Hadoop site 集群 分布式

文章结构

1.准备工作

  1.1 配置IP

  1.2 关闭防火墙

  1.3 修改主机名并与IP绑定

  1.4 创建新用户

  1.5 配置免密匙 

2.安装并配置Hadoop伪分布式集群  

  2.1 安装Java

  2.2 安装配置Hadoop伪分布式集群

 

1.准备工作

  1.1 配置IP

    首先进入该路径下 cd /etc/sysconfig/network-scripts,找到 ifcfg-eth0 这个文件

            

      编辑  ifcfg-eth0  ,配置IP地址,跟自己主机地址相对应 

           

    关闭虚拟机,将网络适配器改为桥接模式

 

          

  1.2 关闭防火墙

     

  

  1.3 修改主机名并于IP绑定

 

  1.4 创建新用户

   1.5 配置免密匙

  首先执行 ssh-keygen -t rsa 然后一直回车

 

 

 然后进入生成的文件下 cp id_rsa.pub authorized_keys

验证一下 ssh hadooptest

 

 

2.安装并配置Hadoop伪分布式集群

  首先创建一个目录 software 用于存放我们上传的文件

     

  然后使用远程工具将我们需要的安装包上传到该目录下

 

  2.1 安装Java

  将压缩包解压 tar -zxvf jdk

   配置环境变量  vim ~/.bash_profile

   使环境变量生效  source ~/.bash_profile

  验证  java -version

 

  2.2 安装配置Hadoop伪分布式集群

  将 Hadoop 压缩包解压 tar -zxvf hadoop

  

     配置核心文件  hadoop-env.sh  core-site.xml  hdfs-site.xml  mapred-site.xml  yarn-site.xml  workers

 

  hadoop-env.sh 文件内容

   core-site.xml 文件内容

  首先在安装目录下创建一个新目录 hadooptmp 

   文件内容

   hdfs-site.xml文件内容

  mapred-site.xml 文件内容

  yarn-sie.xml 文件内容

  workers 文件内容 

   

  配置环境变量  vim ~/.bash_profile

 

  格式化Hadoop  hadoop namenode -format

  启动Hadoop     start-all.sh

 

标签:xml,文件,配置,Hadoop,site,集群,分布式
From: https://www.cnblogs.com/sjdc111/p/17764447.html

相关文章

  • Apache Kylin4 分布式的分析型数据仓库
    https://kylin.apache.org/cn/docs/index.htmlApacheKylin4概述欢迎来到ApacheKylin™AnalyticalDataWarehouseforBigDataApacheKylin™是一个开源的、分布式的分析型数据仓库,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBayInc......
  • 技术实践|高斯集群服务器双缺省网关故障
    ​导语:当前国产化数据库使用范围越来越广泛,在GaussDB数据库的使用过程中难免会遇到一些问题,有的问题是由于在安装过程中没有注意细节而产生的,多数隐患问题都是在特定场景下才会暴露出来,且暴露的时间未知,这就给数据库的运维工作带来极大的挑战。本文就是基于一次数据库安装过程中......
  • 【docker】docker中装Redis集群
    一、搭建步骤1、启动容器#关闭防火墙systemctlstartdocker2、新建6个docker容器redis实例dockerrun-d--nameredis-node-1--nethost--privileged=true-v/data/redis/share/redis-node-1:/dataredis--cluster-enabledyes--appendonlyyes--port6381do......
  • SignalR 分布式部署
    分布式部署意味着有多台SignalR服务器,一台服务器有多个客户端连接。SignalR要求对于某一个特定连接的所有HTTP请求都需要被一个相同服务进程处理,当SignalR运行在一个服务场时(多个服务器),则必须使用“粘性会话”(服务器开启)或者”跳过协商“(用websocket)问题:某一个客户端给服务器......
  • Linux环境配置redis集群启动、停止脚本
    1、创建redisc脚本vim/etc/init.d/redisc2、编辑脚本内容#!/bin/sh#chkconfig:23458090#SimpleRedisinit.dscriptconceivedtoworkonLinuxsystems#asitdoesuseofthe/procfilesystem.REDISNODE1=7001REDISNODE2=7002REDISNODE3=7003REDISNODE4=70......
  • redis官方集群搭建
    1.下载releases7.2.0(最好下载源码在服务器编译):https://packages.redis.io/redis-stack/redis-stack-server-7.2.0-v6.rhel7.x86_64.tar.gz?_gl=1*jh1xlt*_ga*MTA3MjY3MzAyMi4xNjgwNzQ0NTE2*_ga_8BKGRQKRPV*MTcwMDEzNzc3NS41LjEuMTcwMDEzNzgwNi4yOS4wLjA.*_gcl_au*MTI3NTM4NTEwNi4xN......
  • Kafka 集群如何实现数据同步?
    哈喽大家好,我是咸鱼最近这段时间比较忙,将近一周没更新文章,再不更新我那为数不多的粉丝量就要库库往下掉了T﹏T刚好最近在学Kafka,于是决定写篇跟Kafka相关的文章(文中有不对的地方欢迎大家指出)考虑到有些小伙伴可能是第一次接触Kafka,所以先简单介绍一下什么是Kafka吧!Kafka......
  • 分布式事务处理方案大 PK!
    首先先说一个大原则:分布式事务能不用就不要用,毕竟这个用起来还是有一些麻烦的。当然,不用和不会用可是两码事。1.分布式事务基础理论学习分布式事务,有一些基础理论需要我们先来了解下。1.1本地事务本地事务是指将多条语句作为一个整体进行操作的功能,通过数据库事务可以确保该事务......
  • k8s之集群部署(kubeadm)
     [master&node]1.修改主机名hostnamectlset-hostnamemaster-01cat>>/etc/hosts<<EOF172.28.32.1master-01172.28.32.2worker-01EOF 2.配置阿里云官方源mkdir-p/etc/yum.repos.d/backfind/etc/yum.repos.d/-typef-execmv{}/etc/yum.repos.d/back......
  • ZooKeeper集群脑裂问题处理,值得收藏!
    转载自:https://cloud.tencent.com/developer/article/1758883==================本文重点讲解ZooKeeper脑裂问题的处理办法。ZooKeeper是用来协调(同步)分布式进程的服务,提供了一个简单高性能的协调内核,用户可以在此之上构建更多复杂的分布式协调功能。脑裂通常会出现在集群环境中......