首页 > 其他分享 >Hadoop单节点docker镜像

Hadoop单节点docker镜像

时间:2024-10-13 20:51:20浏览次数:10  
标签:xml opt RUN Hadoop hadoop ENV site 镜像 docker

用于个人学习构建,镜像地址如下:
quanueilun/hadoop:single

dockerfile,用来构建hadoop单节点镜像。

FROM dragonwell-registry.cn-hangzhou.cr.aliyuncs.com/dragonwell/dragonwell:8
RUN yum makecache
RUN yum update -y
RUN yum install -y openssh-server vim openssh-clients hostname
RUN ssh-keygen -A
ADD ./hadoop-3.3.6-aarch64.tar.gz /opt
RUN sed -i '$a\export JAVA_HOME=/opt/java/openjdk' /opt/hadoop-3.3.6/etc/hadoop/hadoop-env.sh
#RUN source /etc/profile
ENV HADOOP_HOME=/opt/hadoop-3.3.6
ENV PATH $PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
ENV HDFS_NAMENODE_USER root
ENV HDFS_DATANODE_USER root
ENV HDFS_SECONDARYNAMENODE_USER root
ENV YARN_RESOURCEMANAGER_USER root
ENV YARN_NODEMANAGER_USER root
ENV JAVA_HOME /opt/java/openjdk
RUN hdfs namenode -format
RUN ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa
RUN cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
WORKDIR /opt
CMD start-all.sh & /usr/sbin/sshd -D

docker-compose.yaml,用于启动容器。

version: "3"
services:
    master:
        image: terminal-hadoop:single
        volumes:
         - ./core-site.xml:/opt/hadoop-3.3.6/etc/hadoop/core-site.xml
         - ./hdfs-site.xml:/opt/hadoop-3.3.6/etc/hadoop/hdfs-site.xml
        hostname: master
        container_name: hadoop
        ports:
         - 9870:9870
         - 9864:9864
         - 9000:9000
         - 9868:9868
         - 9866:9866
         - 9867:9867

core-site.xml,用于指定namenode地址

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

hdfs-site.xml,用于指定副本数

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--副本数-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--是否启用hdfs权限,当值为false时,代表关闭-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	  </property>
</configuration>
  1. 启动方式
    将docker-compose.yaml、core-site.xml和hdfs-site.xml放在统一目录并执行一下指令
docker-compose up -d
  1. 访问namenode地址
    http://localhost:9870

标签:xml,opt,RUN,Hadoop,hadoop,ENV,site,镜像,docker
From: https://blog.csdn.net/qq_41679031/article/details/142903202

相关文章

  • Docker 指令详解:全面掌握容器化管理工具
    Docker是当前最流行的容器化平台之一,它通过轻量级的虚拟化技术,让开发者能够快速构建、部署和管理应用。掌握Docker的基础指令对于有效使用这一工具至关重要。本文将详细介绍Docker的常用命令,帮助你全面了解和运用Docker。目录Docker基础概念Docker镜像管理命令do......
  • Docker-nginx数据卷挂载
    数据卷(volume)是一个虚拟目录,是容器内目录与宿主机目录之间映射的桥梁。以Nginx为例,我们知道Nginx中有两个关键的目录:html:放置一些静态资源conf:放置配置文件如果我们要让Nginx代理我们的静态资源,最好是放到html目录;如果我们要修改Nginx的配置,最好是找到conf下的nginx.conf文件......
  • ChatGPT 中文版镜像网站整理合集(2024/10/13)
    一、GPT中文镜像站① yixiaai.com 支持GPT4、4o以及o1,支持MJ绘画② chat.lify.vip 支持通用全模型,支持文件读取、插件、绘画、AIPPT③ AIChat 支持GPT3.5/4,4o以及MJ绘画1.什么是镜像站镜像站(MirrorSite)是指通过复制原始网站内容和结构,创建的备用网站。其主要目的......
  • 计算机毕业设计 基于Hadoop平台的岗位推荐系统的设计与实现 Python毕业设计 Python毕
    博主介绍:✌从事软件开发10年之余,专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌......
  • Docker常用命令
    #第1步,去DockerHub查看nginx镜像仓库及相关信息#第2步,拉取Nginx镜像dockerpullnginx#第3步,查看镜像dockerimages#结果如下:REPOSITORYTAGIMAGEIDCREATEDSIZEnginxlatest605c77e624dd16monthsago141MBmysql......
  • 安卓手机数据恢复教程:使用 ADB 制作 data 分区镜像
    安卓手机数据恢复指南:使用ADB制作data分区镜像本文旨在为对安卓玩机有基本了解的用户提供一种使用ADB制作data分区镜像的方法,帮助您在数据没有多次覆写的情况下恢复安卓手机数据。adb制作data分区镜像,然后用数据恢复软件扫描镜像恢复前提条件安卓手机:您的设备......
  • windows下安装部署 hadoop
     一、安装下载1.首先在hadoop官网下载一个稳定版本,选择binary包官网地址:https://hadoop.apache.org/releases.html下载下来是tar.gz文件,用winrar解压即可。2.因为这个压缩包是forlinux系统的,win下还需要安装几个dllwinutils, 下载地址:https://www.jianguoyun.com/p/Dcs2......
  • 基于Hive的网络电视剧收视率分析系统大数据Hadoop
    本系统基于Java与SpringBoot技术,并结合Hive来实现对网络电视剧收视率的深入分析。它能够广泛收集来自多个渠道的相关数据,包括各网络平台上电视剧的播放量、观看时长、观众地域分布、年龄层次、观看设备类型以及观众的互动数据(如评论、点赞、分享等)。这些数据被整合......
  • Centos7.9安装docker(国内)
    由于不能访问国外网络所以需要修改为阿里云镜像地址sudotee/etc/yum.repos.d/CentOS-Base.repo<<EOF[centos]name=CentOS-\$releasever-Basebaseurl=http://mirrors.aliyun.com/centos/\$releasever/os/\$basearch/gpgcheck=1gpgkey=file:///etc/pki/rpm-gpg/RPM......
  • 【云原生技术】Docker容器进阶知识
    文章目录namespace概述一、namespace的基本概念二、namespace的主要作用三、namespace的类型四、namespace的操作五、namespace在容器技术中的应用cgroup一、cgroup的基本概念二、cgroup的主要功能三、cgroup的子系统介绍四、cgroup的应用场景五、cgroup的使用与管理cg......