首页 > 其他分享 >使用docker安装hadoop(已实现)

使用docker安装hadoop(已实现)

时间:2023-01-29 18:24:56浏览次数:32  
标签:容器 -- hadoop Master docker 安装 9870

1.拉镜像

这里推荐第一个

docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base

或者

docker pull qianiqan/hadoop_only

2.创建容器

三个容器的名称分别是Master、Slave1、Slave2

1.创建hadoop内部网络

目的是实现容器与容器之间的相互通信

docker network create --driver=bridge hadoop

hadoop:是创建的网络名

2.创建master容器,开放端口

docker run -it --network hadoop -h Master --name Master -p 9870:9870 -p 8088:8088 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

--network hadoop :指定该容器使用创建的hadoop网络

--name Master :把该容器名称命名为Master

-p 9870:9870 :将宿主机的9870端口号,映射到容器的9870端口

-p 8088:8088 : 将宿主机的8088端口号,映射到容器的8088端口

这两个开放端口

3.创建slave1容器,不开放端口

docker run -it --network hadoop -h Slave1 --name Slave1 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

不开端口,只有master容器开

4.创建slave2容器,不开放端口

docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

不开端口,只有master容器开

3.三台主机都修改/etc/hosts文件

分别进入三台主机,然后修改他们的hosts文件

vim /etc/hosts
**************添加下面内容*************
172.20.0.2	Master    #(容器ip   容器主机名)
172.20.0.3	Slave1
172.20.0.4	Slave2

查看容器ip的方法

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' 容器ID

4.格式化hdfs

在master容器内操作

进入hadoop的bin目录格式化

可以看出hadoop的存放目录为/usr/local/hadoop/

cd /usr/local/hadoop/bin
-
./hadoop namenode -format

5.启动hadoop

三台主机容器内部都可以

cd /usr/local/hadoop/sbin
-
./start-all.sh

6.web访问测试

宿主机ip:9870

标签:容器,--,hadoop,Master,docker,安装,9870
From: https://www.cnblogs.com/gqboke/p/17073457.html

相关文章

  • macos安装android studio(Android Studio 2021.1.1)
    一,官网下载https://developer.android.google.cn/studio/如图:点击DownloadAndroidStudio此处选择自己电脑的芯片点击后开始下载说明:刘宏缔的架构森林是一......
  • JDK卸载和安装、JRE、JVM
    JDK、JRE、JVMJDK:JavaDevelopmentKit(Java开发工具)JRE:JavaRuntimeEnvironment(Java运行时环境)JVM:JAVAVirtualMachine(Java虚拟机--跨平台应用)JDK卸载JDK......
  • WSL安装Ubuntu 22.04 (2)
    1.设置软件包源为国内镜像参考:Ubuntu更换国内镜像源-知乎1.1.更新系统软件包sudoapt-getupdate&&sudoapt-getupgrade-y参考:Ubuntu手工进行软件更新升级的两种......
  • 002-dockerfile部署java项目
    1.dockerfile展示注意,这里是将DockerFile配置文件放到了maven项目目录内,和pom.xml同级目录。自动检测的文件名为Dockerfile,使用-f指定dockerfile文件路径#Downlo......
  • 安装配置Oh My Posh
    Tutorial:SetupacustompromptforPowerShellorWSLwithOhMyPoshInstallaNerdFont推荐MesloNerdFont安装完成后打开WindowsTerminal然后按"Ctrl+Shift+......
  • Docker consul容器服务更新与发现
    一、Consul概述1、什么是服务注册与发现服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的,不保障高可用性,也不考虑服务的压力承载,服务之间调用单纯......
  • CentOS Linux release 7.6 zabbix5.0 安装
    #zabbix安装关方文档https://www.zabbix.com/cn/download?zabbix=5.0&os_distribution=centos&os_version=7&components=server_frontend_agent&db=mysql&ws=nginx安......
  • redis安装方式
    1、源码包编码安装操作系统版本centos7.6redis版本是7.0.81.1安装工具[root@localhost~]#yuminstallgccgcc-c++tcl-y1.2创建安装目录[root@localhos......
  • ReplaceGoogleCDN扩展下载和安装
    ReplaceGoogleCDN扩展下载和安装文档说明:只记录关键地方;2023-01-29在线安装备注:扩展市场的代码版本远落后于源码仓库版本ChromeFirefoxEdge手动安装:Chrome......
  • 安装VMware Tools,从本地主机上传文件到虚拟机
    一、在虚拟机上安装VMwareTools在虚拟机开机登陆后,我的上面的“安装VMwareTools”是点不了的,只能在开机的时候,可以点,点击重新安装VMwareTools,然后登录虚拟机  ......