首页 > 其他分享 >Hadoop单节点docker镜像

Hadoop单节点docker镜像

时间:2024-10-13 20:51:20浏览次数:13  
标签:xml opt RUN Hadoop hadoop ENV site 镜像 docker

用于个人学习构建,镜像地址如下:
quanueilun/hadoop:single

dockerfile,用来构建hadoop单节点镜像。

FROM dragonwell-registry.cn-hangzhou.cr.aliyuncs.com/dragonwell/dragonwell:8
RUN yum makecache
RUN yum update -y
RUN yum install -y openssh-server vim openssh-clients hostname
RUN ssh-keygen -A
ADD ./hadoop-3.3.6-aarch64.tar.gz /opt
RUN sed -i '$a\export JAVA_HOME=/opt/java/openjdk' /opt/hadoop-3.3.6/etc/hadoop/hadoop-env.sh
#RUN source /etc/profile
ENV HADOOP_HOME=/opt/hadoop-3.3.6
ENV PATH $PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
ENV HDFS_NAMENODE_USER root
ENV HDFS_DATANODE_USER root
ENV HDFS_SECONDARYNAMENODE_USER root
ENV YARN_RESOURCEMANAGER_USER root
ENV YARN_NODEMANAGER_USER root
ENV JAVA_HOME /opt/java/openjdk
RUN hdfs namenode -format
RUN ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa
RUN cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
WORKDIR /opt
CMD start-all.sh & /usr/sbin/sshd -D

docker-compose.yaml,用于启动容器。

version: "3"
services:
    master:
        image: terminal-hadoop:single
        volumes:
         - ./core-site.xml:/opt/hadoop-3.3.6/etc/hadoop/core-site.xml
         - ./hdfs-site.xml:/opt/hadoop-3.3.6/etc/hadoop/hdfs-site.xml
        hostname: master
        container_name: hadoop
        ports:
         - 9870:9870
         - 9864:9864
         - 9000:9000
         - 9868:9868
         - 9866:9866
         - 9867:9867

core-site.xml,用于指定namenode地址

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

hdfs-site.xml,用于指定副本数

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--副本数-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--是否启用hdfs权限,当值为false时,代表关闭-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	  </property>
</configuration>
  1. 启动方式
    将docker-compose.yaml、core-site.xml和hdfs-site.xml放在统一目录并执行一下指令
docker-compose up -d
  1. 访问namenode地址
    http://localhost:9870

标签:xml,opt,RUN,Hadoop,hadoop,ENV,site,镜像,docker
From: https://blog.csdn.net/qq_41679031/article/details/142903202

相关文章

  • Docker 指令详解:全面掌握容器化管理工具
    Docker是当前最流行的容器化平台之一,它通过轻量级的虚拟化技术,让开发者能够快速构建、部署和管理应用。掌握Docker的基础指令对于有效使用这一工具至关重要。本文将详细介绍Docker的常用命令,帮助你全面了解和运用Docker。目录Docker基础概念Docker镜像管理命令do......
  • 计算机毕业设计 基于Hadoop平台的岗位推荐系统的设计与实现 Python毕业设计 Python毕
    博主介绍:✌从事软件开发10年之余,专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌......
  • 安卓手机数据恢复教程:使用 ADB 制作 data 分区镜像
    安卓手机数据恢复指南:使用ADB制作data分区镜像本文旨在为对安卓玩机有基本了解的用户提供一种使用ADB制作data分区镜像的方法,帮助您在数据没有多次覆写的情况下恢复安卓手机数据。adb制作data分区镜像,然后用数据恢复软件扫描镜像恢复前提条件安卓手机:您的设备......