首页 > 其他分享 >暑假学习二 8.24

暑假学习二 8.24

时间:2022-08-25 00:00:09浏览次数:82  
标签:学习 Hadoop hadoop 8.24 集群 暑假 mapreduce node3 node2

今日学习内容补充:

1.hadoop介绍:

狭义:

核心组件,Hadoop

hdfs  分布存储

yarn   资源管理和任务调度框架

mapreduce  计算  (企业基本不再直接使用)

 

广义:

围绕Hadoop打造的大数据生态圈

 

Hadoop发行版本:

开源社区:http://hadoop.apache.org/

商业版本:cloudera和hortonworks

Hadoop架构变迁:

1.0-2.0框架优化

2.0-3.0性能优化

 

 

2.Hadoop集群概述:

包括,hdfs,yarn 逻辑上分离,物理上在一起,标准的主从架构集群

不存在mapreduce集群,mapreduce是计算框架,位于代码层面,不存在集群的说法

 

 

 3.Hadoop集群的安装

下载网址;Index of /dist/hadoop/common/hadoop-3.3.0 (apache.org)

课程提供了安装包,有编译好的安装包。

3.1集群角色规划

3.2基础环境准备

部分提前配置过了,以下是验证:

免密登录ssh:

 

时间同步:

创建统一工作目录:

 

安装jdk在三台机器上:

node1:先拖动导server目录下

解压并且验证安装:

 

 

拷贝到node2下jdk:

 

node3:修改上面的node2为node3即可

拷贝环境变量:

 

拷贝结束后同时重新加载环境变量

使用命令:

source /etc/profile

下面主要通过node1安装,node2,node3通过scp命名

上传Hadoop资源并且解压:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

标签:学习,Hadoop,hadoop,8.24,集群,暑假,mapreduce,node3,node2
From: https://www.cnblogs.com/diandianzai/p/16622744.html

相关文章

  • python学习Day52
    Day52今日内容概要CSS属性盒子模型浮动布局overflow溢出属性定位属性z-index层叠顺序opacity透明效果手搭页面练习JavaScript简介JS变量与常量JS数据类......
  • 【2022.8.24】前端开发(3)
    学习内容概要盒子模型浮动布局定位属性z-indexJavaScript基础语法内容详细盒子模型所有的标签都可以看成是一个快递盒1.两个快递盒之间的距离标签之间......
  • MySQL学习
    MySQL学习01数据库的基本概念1.数据库的英文单词:DataBase简称:DB2.什么是数据库*用于存储和管理的仓库3.数据库的特点:*1.持久化存储数据。其实数据库就是一个......
  • 前端学习-3
    目录盒子模型浮动布局溢出属性定位z-index纯手搭页面练习JavaScript简介JS变量与常量JS数据类型之数值类型JS数据类型之字符串类型每日小作业联系盒子模型所有的标签都可......
  • 2022-08-24 第八组 卢睿 学习心得
    目录JavaScriptJS的两种模型nodejsJS解释器ECMAScript和JavaScriptECMAScriptJavaScript向body打印输出JS的位置JS的数据类型自动类型推断,弱类型其他变量的声明ES6声明变......
  • Kubernetes学习笔记(二十一):备份
    kubectlgetall--all-namespaces-oyaml>all-deploy-services.yaml与其备份单个资源,不如备份ETCD:etcd.service--data-dir=/var/lib/etcdetcd也自带快照功能ET......
  • 操作系统学习笔记5 | 用户级线程 && 内核级线程
    在上一部分中,我们了解到操作系统实现多进程图像需要组织、切换、考虑进程之间的影响,组织就是用PCB的队列实现,用到了一些简单的数据结构知识。而本部分重点就是进程之间的切......
  • 双流网络two stream network学习笔记草稿(待整理)
    卷积神经网络比较擅长学习局部的特征,而非物体移动的规律先将运动信息抽取好(光流),再让CNN去学习这种(运动信息到动作分类间的)映射空间流的输入是单帧图片,而时间流的输入是一系......
  • Flask 学习-15.flask-migrate数据迁移
    前言Flask-SQLAlchemyORM可以直接操作数据库,可以用db.create_all()代码同步表到数据库。当我们需要修改表的字段,比如对表新增字段,修改字段的时候需用到flask-migrate......
  • Link-Cut-Tree 学习笔记
    Link-Cut-Tree是著名的Tarjan教授发明的数据结构,利用动态树,我们珂以解决很多复杂的树上操作。先看一道例题:严格次小生成树有人会问了,这不是裸的树上倍增吗?我想说的是......