- 2024-03-18Hadoop3
Hadoop3.3.0--Linux编译安装基础环境:Centos7.7编译环境软件安装目录mkdir-p/export/serverHadoop编译安装(选做)安装编译相关的依赖yuminstallgccgcc-c++makeautoconfautomakelibtoolcurllzo-develzlib-developensslopenssl-develncurses-develsnappysn
- 2023-04-06Hadoop3常用端口
Namenode默认端口:端口介绍9820NameNode默认的内部端口9870NameNode的web访问(http访问)端口9871NameNode的web访问(https访问)端口SecondaryNamenode默认端口:端口介绍9868SecondaryNameNode的web访问(http访问)端口9869SecondaryNameNode的web
- 2023-03-19Hadoop入门
目录1️⃣、Hadoop概述1.1、Hadoop是什么1.2、三大发行版本1.3、优势1.4、组成HDFSYARNMapReduceHDFS、YARN、MapReduce三者关系1.6、大数据技术生态体系2️⃣、Hadoop运行环境
- 2023-03-12hive
Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于Hadoop的数据仓库工具可以将结构化的数据映射为一张数据库表并提供HQL(HiveSql)查询功能底层数据是存储在
- 2023-02-25Hadoop3 Yarn ha搭建及测试排错
1.YarnHa原理ResourceManager记录着当前集群的资源分配和Job运行状态,YarnHa利用Zookeeper等共享存储平台来存储这些信息以达到高可用。利用Zookeeper实现ResourceManag
- 2023-02-25Hadoop3 HDFS HA 高可用搭建及测试
1.什么是HAHA是HighAvailability的简写,即高可用,指当当前工作中的机器宕机后,会自动处理这个异常,并将工作无缝地转移到其他备用机器上,以保证服务的高可用。Hadoop的HA模
- 2022-12-05hadoop3.x集群搭建教程
0.Hadoop和Java之间的版本配套官方描述:https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersionshadoop3.x版本仅支持Java8hadoop2.7.x及以上版本支持J
- 2022-11-30Hadoop3_04(重点)
4.2完全分布式运行模式(开发重点)分析:(1)准备3台客户机(关闭防火墙、静态ip、主机名称)(2)安装JDK(3)配置环境变量(4)安装Hadoop(5)配置环境变量(6)配置ssh(7)配置集群(8)单点启动(9)群
- 2022-11-29Hadoop3
Docker部署进入Docker命令行之后,拉取一个Linux镜像作为Hadoop运行的环境,这里推荐使用CentOS镜像(Debian和其它镜像暂时会出现一些问题)。dockerpullcentos:8
- 2022-11-27hadoop3.x集群搭建教程
0.Hadoop和Java之间的版本配套官方描述:https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersionshadoop3.x版本仅支持Java8hadoop2.7.x及以上版本
- 2022-10-03Hadoop3.X安装教程(Ubuntu)
前提:一台纯净的Ubuntu机器(虚拟机安装教程略)ctrl+alt+T打开bash,全程使用bash指令进行,以hadoop和java8为例首先换源进入root账户sudosu-升级软件列表ap