首页 > 其他分享 >Hadoop安装-分布式-Fully

Hadoop安装-分布式-Fully

时间:2022-11-02 19:58:09浏览次数:56  
标签:full Fully 配置 hadoop dfs Hadoop var namenode 分布式

Hadoop安装-分布式-Fully

〇、所需资料

一、配置

1、基础配置

(1)系统安装

(2)hostname主机名配置

(3)ip地址、dns、hosts映射文件配置

(4)关闭防火墙与selinux

(5)开启ntpd时钟同步

(6)jdk安装与环境变量配置

(7)机器克隆、配置

(8)ssh免密设置

2、部署配置

(1)包含内容

Untitled

(2)hadoop环境变量配置

vi /etc/profile

(3)etc/hadoop下配置-core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/bigdata/tmp/hadoop/full</value>
</property>
</configuration>

(4)etc/hadoop下配置-hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/data</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop02:50090</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/secondary</value>
</property>
</configuration>

(3)etc/hadoop下配置-slave配置dn

hadoop02
hadoop03

(4)目录分发到其他节点

scp -r ./hadoop/ hadoop02:pwd

二、启动

1、nn格式化

bin/hdfs namenode -format

2、启动dfs

sbin/start-dfs.sh

三、验证

1、nn验证

Untitled

2、dn验证

Untitled

3、页面验证

Untitled

Untitled

Untitled

Untitled

标签:full,Fully,配置,hadoop,dfs,Hadoop,var,namenode,分布式
From: https://www.cnblogs.com/liujinhui/p/16852167.html

相关文章

  • 巨杉数据库入围 IDC Innovator榜单,获评分布式数据库创新者
    近日,巨杉数据库凭借「湖仓一体」分布式数据库在金融领域的创新应用获得 IDC Innovator中国分布式数据库创新者殊荣。值得一提的是,这也是IDC在数字化转型盛典会议中首次......
  • springboot使用minio分布式文件上传图片或视频
    Minio搭建先看下前端上传效果日期工具包使用的是hutool的importcn.hutool.core.date.DateUtil;接口可以上传视频和图片暂无做限制pom.xml<!--分布式存储-->......
  • Hadoop入门(2)——环境准备
    CentOS环境环境要求使用VMware虚拟机搭建基于CentOS7.5的Hadoop环境:cpu核数(需要搭建3台Hadoop组成集群,加上Windows本机,所以可以分配的数量为本机的cpu核数除以4)内存至......
  • 分布式事务框架 Seata 入门案例
    1. SeataServer部署Seata分TC、TM和RM三个角色,TC(Server端)为单独服务端部署,TM和RM(Client端)由业务系统集成。首先,下载最新的安装包也可以下载源码,然后本地编译。最新......
  • 腾讯云(阿里云) Jmeter 5.2.1 版本 JDK1.8.053 分布式部署详细步骤
    1,安装JDK使用yum命令工具安装JDK选择适合自己得JDK或者JRE版本进行安装。带“-devel” 标志为JDK安装包1yum-ylistjava*23minstall-yjava-1.8.0-op......
  • 关于安装hadoop时在centos上修改主机名总是不成功
    按照老师给的文件和网上搜的代码改了很多次,比如改/etc/sysconfig/network这些,无论改几次都没用,找了个帖子,说可能是因为CentOS7版本由于与之前版本变化比较大,修改主机名的......
  • Hadoop学习(3)
    HDFS概述:向磁盘中写入数据的时间一般是读取时间的3倍。HDFS以流处理访问模式来存储文件的,一次写入,多次读取。磁盘存储文件时,是按照数据块来进行存储的,数据块是磁盘读......
  • Ubuntu22安装Hadoop完全分布式集群
    Ubuntu22.04安装Hadoop完全分布式集群1.网络配置需要修改四处,windows(宿主机),vmware,和虚拟机ubuntu(NAT模式)windows,设置vmware8的ipv4选项即可vmware的ip设置和windo......
  • 【分布式技术专题】「架构实践于案例分析」总结和盘点目前常用分布式事务特别及问题分
    世界上解决一个计算机问题最简单的方法:“恰好”不需要解决它!分布式事务方案设计实际运用理论时进行架构设计时,许多人容易犯“手里有了锤子,看什么都觉得像钉子”的错误,设计方......
  • hadoop学习(2)
    HadoopYARN直接源于MRv1在几个方面的缺陷,扩展性受限、单点故障、难以支持MR之外的计算。多计算框架各自为战,数据共享困难。MR:离线计算框架,Storm:实时计算框架,Spark内存计......