HDFS与MapReduce_tyt2023

标签：HDFS 自定义 MapReduce 密码 集群 公网 计费 tyt2023

1.购买弹性公网IP

产品->网络->弹性公网IP EIP

计费模式：按需计费

区域：华北-北京四

线路：全动态BGP

公网带宽：按流量计费

带宽大小：100

IPv6：不开启

弹性公网IP名称：eip-bigdata1

购买量：1

2.购买MRS集群

产品-》大数据=》MapReduce服务

选择“自定义购买”

区域：华北—北京四

计费模式：按需计费

集群名称：mrs-bigdata

版本类型：普通版

集群版本：MRS 3.1.0 WXL

集群类型：自定义

勾选组件：Hadoop/HBase/Hive/Zookeeper/Ranger

可用区：任意均可

虚拟私有云：vpc-bigdata

子网：subnet-bigdata

安全组：sg-bigdata

弹性公网IP：选择下拉框中已购买的ip

常用模板：默认选项

集群节点：

实例规格：全部选择通用计算增强型

8 vCPUs |32 GB | c6.2xlarge.4

系统盘：高IO 480 GB x 1

数据盘：高IO 600 GB x 1

实例数量：Master节点 3台

分析Core节点：2台

无需添加分析Task节点。

开启“拓扑调整”，勾选master（3）的“DN, NM, RS”。此操作表示在Master3节点分别部署DataNode, NodeManager, RegionServer以解决如上警告。

Kerberos认证：保持关闭状态

用户名：admin

密码：自定义密码，例如12QWqw@@

确认密码：再次输入

登录方式：密码

用户名：root

密码：自定义密码，例如12QWqw@@

确认密码：再次输入

如有其他选项：默认或不用填

通信安全授权：确认授权

3.安装jdk环境

集群目前只有jre环境，无法进行打包操作，仍需安装jdk环境才行。运行下列代码下载jdk1.8压缩文件，直接下载到/home/user目录下即可，方便查找。

wget https://sandbox-expriment-files.obs.cn-north-1.myhuaweicloud.com/hccdp/HCCDP/jdk-8u341-linux-x64.tar.gz

下载完成后，运行下列命令进行解压：

tar -zxvf jdk-8u341-linux-x64.tar.gz

4.HDFS实验

HDFS是Hadoop大数据平台中的分布式文件系统，为上层应用或其他大数据组件提供数据存储，因此掌握HDFS的使用对我们更好的理解和掌握大数据大有裨益。本实验是通过JAVA语言来操作HDFS文件系统，主要介绍了HDFS中有关查看路径和文件、新建路径、新建空白文件、创建文件同时写入数据、查看文件内容、删除文件等相关的API，帮助大家更好上手HDFS的大数据开发与应用流程。

创建Eclipse Maven项目

双击打开桌面上的eclipse，点击左上角的File标签，选择 ”New” > ”project” 按钮，新建一个项目。

在下方找到Maven Project，点选之后点击Next

 勾选Create a simple project，点击Next

 

 

 

 

 

 

 

 

 

 

标签：HDFS,自定义,MapReduce,密码,集群,公网,计费,tyt2023
From： https://www.cnblogs.com/playforever/p/17929774.html