首页 > 其他分享 >最快方式搭建docker大数据 测试集群

最快方式搭建docker大数据 测试集群

时间:2024-06-20 18:22:15浏览次数:9  
标签:容器 cloudera quickstart -- 集群 docker 8020 搭建

平时搭建一套测试集群 找包 找的累死,现在使用docker搭建 cdh版本的 

1.首先在服务器上安装docker

yum install docker

2.配置国内 阿里云docker仓库服务 

https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

 换成地址,重启docker服务

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://vy8pfxw7.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

2.执行下载

docker pull cloudera/quickstart:latest

需要时间 4个g的镜像文件

3.启动

docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8888:8888 -t -i 4239cd2958c6 /usr/bin/docker-quickstart

docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8888:8888 -t -i 4239cd2958c6 /usr/bin/docker-quickstart


这条docker run命令用来启动一个名为quickstart.cloudera的Cloudera Quickstart容器,这是一个预配置的Hadoop和CDH(Cloudera Distribution Including Apache Hadoop)环境,用于快速搭建大数据处理平台。下面是对命令中各个部分的详细解释:

docker run:这是启动一个新容器的Docker命令。

--privileged=true:此标志授予容器额外的权限,使其能够访问主机的设备和资源,比如网络设备和硬件中断。这在运行某些需要直接访问底层硬件的软件时很有用,但同时也增加了安全风险。

--hostname=quickstart.cloudera:设置容器的主机名,这在容器内部的网络识别和配置中非常重要。

-p 8020:8020,-p 7180:7180...-p 8888:8888:这一系列-p标志用于端口映射,将容器内的端口映射到宿主机的相应端口。例如,-p 8020:8020意味着容器内的8020端口将被映射到宿主机的8020端口。这样,从宿主机或网络上的其他机器可以通过这些端口访问容器中的服务。

-t:表示容器将在一个tty(终端)中运行,这意味着标准输入、输出和错误流都将保持打开状态。

-i:表示交互模式,意味着容器将以交互的方式运行,接受来自标准输入的数据。

4239cd2958c6:这看起来像是一个容器ID或镜像ID。但是,通常我们会使用镜像的名称和标签来运行容器,例如cloudera/quickstart。这里可能是直接从一个具体的镜像ID运行,这通常在你已经拉取了镜像并知道其确切的ID时使用。

/usr/bin/docker-quickstart:这是容器启动时运行的命令或程序。在Cloudera Quickstart容器中,这通常是一个脚本,用于初始化和启动Hadoop、CDH等服务。

这条命令启动的容器将允许你通过一系列的端口访问Hadoop生态系统中的各种服务,如HDFS NameNode、Cloudera Manager、Impala、Hive、YARN Resource Manager等。每个端口号对应着不同的服务,便于在宿主机上管理和监控这些服务。

在实际使用中,建议使用镜像的完整名称和标签,例如cloudera/quickstart:latest,而不是直接使用镜像ID,以增加可读性和可维护性。

上面命令执行完 就进入容器里面了 

执行 /home/cloudera/cloudera-manager --force --express &

 前面的宿主机和容器端口已经映射了,直接使用宿主机:7180访问

标签:容器,cloudera,quickstart,--,集群,docker,8020,搭建
From: https://www.cnblogs.com/hejunhong/p/18259241

相关文章

  • 从零开始搭建创业公司全新技术栈解决方案
    从零开始搭建创业公司全新技术栈解决方案关于猫头虎大家好,我是猫头虎,别名猫头虎博主,擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评测图文、产品使用体验图文、产品优点推广文稿、产品横测......
  • .netcore 部署docker
    1.代码中新建一个dockerfile容器文件。下面是容器代码,9527是容器的端口。FROMmcr.microsoft.com/dotnet/aspnet:3.1ASbaseWORKDIR/appEXPOSE9527COPY..ENTRYPOINT["dotnet","myapidemo.dll"]2.代码中program.cs需要处理一下端口。 新建个json文......
  • SonarQube集成Jenkins平台搭建
    SonarQube平台搭建一、项目搭建的必要条件SonarQube8.9.10previousLTS依据公司现有服务目前的Jdk版本1.8,需要选择一个适用的长期支持版本,我在这里选用的是SonarQube8.9.10previousLTS。下载地址:DownloadPreviousSonarQubeVersions|SonarPostgreSQL12根据官......
  • vs code 搭建 vue 3.0+Element-ui
    前言根据上一篇文章,通过vue-cli3.0创建了一个vue项目 https://www.cnblogs.com/FTAH/p/12427997.html 1.在当前项目中加入Element-ui前端框架1.首先在官方网站的这一页我们发现要安装框架 https://element.eleme.cn/#/zh-CN/component/installation 注意这里提供了......
  • CentOS7系统搭建web环境 php&nginx&pgsql
    环境:VMware、CentOS-7-x86_64-DVD-2009.iso、nginx-1.26.1、php-7.2.0、postgresql-12php最好安装对应php项目所需版本,否则会出现不兼容问题。一、VMware安装CentOS7操作系统下载LinuxCentos7映像:https://mirrors.aliyun.com/centos/7/isos/x86_64/?spm=a2c6h.25603864.0.......
  • docker 容器中,当需要读取外接usb 设备,每次插拔 sub 设备,设备编号一直变化怎么办?
    docker容器中,当需要读取外接usb设备,每次插拔sub设备,设备编号一直变化怎么办?这会影响程序的读取。因此每次创建容器时候,设备编号就固定在容器中了。比如:在容器中运行:root@h-pc:~/ros_ws#lsusbBus002Device002:ID174c:3074ASMediaTechnologyInc.ASM1074SuperSpee......
  • LVS+KeepAlived高可用负载均衡集群
    1、高可用群集(1)单台服务器(2)keepalived一个合格的群集应该具备的特点:负载均衡:用于提高群集的性能(LVSNqinxHAProxySLBF5)健康检查(探针):针对于调度器和节点服务器(KeepalivedHeartbeat)故障转移:通过VIP漂移实现主备切换健康检查(探针)常用的工作方式:发送心跳消息:vrr......
  • 更改 Docker 的默认数据目录:解决部署空间不足问题
    在现代软件开发和部署过程中,Docker已成为一种非常流行的工具。Docker容器化技术允许开发者在一个独立的环境中打包应用程序及其所有依赖项,从而确保应用在任何地方都能一致运行。然而,随着使用Docker的时间增加,存储在默认数据目录(通常是/var/lib/docker)中的数据量也会不......
  • 使用docker拉取镜像一直网路拒绝连接
    使用docker拉取镜像一直网路拒绝连接报错信息如下:Unabletofindimage'mysql:8.0.29'locally8.0.29:Pullingfromlibrary/mysqle54b73e95ef3:Retryingin1second327840d38cb2:Retryingin1second642077275f5f:Retryingin1seconde077469d560d:Waitingcbf214d981a......
  • 搭建取图系统app源码开发,满足广泛应用需求
    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档前言图片已成为信息传递的重要媒介,广泛应用于各个领域。为满足日益增长的图片需求,搭建一款高效的取图系统,可以为用户提供便捷、全面的图片服务。一、取图系统是什么?取图系统是一款用于搜集各种图片的系统......