首页 > 其他分享 >docker安装CDH[单机单节点]---大数据

docker安装CDH[单机单节点]---大数据

时间:2024-01-17 15:33:06浏览次数:24  
标签:Web Management Service HDFS CDH 端口 --- Cloudera docker

https://www.cnblogs.com/51record/p/16378663.html

 

第一步:拉取cdh镜像 docker pull cloudera/quickstart 第二步:启动容器 docker run --name cdh -d --hostname=quickstart.cloudera --privileged=true -t -i -p 8888:8888 -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 cloudera/quickstart /usr/bin/docker-quickstart   参数解释:
  • –hostname:cdh5分布式指定一个域名
  • –privileged:给予容器内的root用户以真正的root权限
  • -t -i:让docker分配一个伪终端并绑定到容器的标准输入上并保持打开
  • CDH全家桶端口众多,端口的用途参看下表,按需开放
| 组件 | 端口号 | 端口用途 | | —————————– | —— | ——————————————————– | | Cloudera Management Service | 8087 | Activity Monitor Web UI 端口 | | Cloudera Management Service | 9999 | Activity Monitor 侦听端口 | | Cloudera Management Service | 9998 | Activity Monitor 喷嘴端口 | | Cloudera Management Service | 10101 | 警报:侦听端口 | | Cloudera Management Service | 7184 | 事件发布端口 | | Cloudera Management Service | 7185 | 事件查询端口 | | Cloudera Management Service | 8084 | Event Server Web UI 端口 | | Cloudera Management Service | 8091 | Host Monitor Web UI 端口 | | Cloudera Management Service | 9995 | Host Monitor 侦听端口 | | Cloudera Management Service | 9994 | Host Monitor 喷嘴端口 | | Cloudera Management Service | 7186 | Navigator 审核服务器端口 | | Cloudera Management Service | 8089 | Navigator Audit Server Web UI 端 | | Cloudera Management Service | 7187 | Navigator Metadata Server 端口 | | Cloudera Management Service | 5678 | Reports Manager 服务器端口 | | Cloudera Management Service | 8083 | Reports Manager Web UI 端口 | | Cloudera Management Service | 8086 | Service Monitor Web UI 端口 | | Cloudera Management Service | 9997 | Service Monitor 侦听端口 | | Cloudera Management Service | 9996 | Service Monitor 喷嘴端口 | | zookeeper | 2181 | 客户端端口 | | zookeeper | 3181 | 仲裁端口 | | zookeeper | 4181 | 选举端口 | | zookeeper | 9010 | JMX 远程端口 | | yarn | 10020 | MapReduce JobHistory Server 端口 | | yarn | 19888 | MapReduce JobHistory Web 应用程序 HTTP 端口 | | yarn | 19890 | MapReduce JobHistory Web 应用程序 HTTPS 端口 (TLS/SSL) | | yarn | 10033 | MapReduce JobHistory Server 管理接口端口 | | yarn | 8042 | NodeManager Web 应用程序 HTTP 端口 | | yarn | 8044 | NodeManager Web 应用程序 HTTPS 端口 (TLS/SSL) | | yarn | 8041 | NodeManager IPC 地址 | | yarn | 8040 | Localizer 端口 | | yarn | 8032 | ResourceManager 地址 | | yarn | 8030 | 调度程序地址 | | yarn | 8031 | 资源追踪器地址 | | yarn | 8033 | 管理地址 | | yarn | 8088 | ResourceManager Web 应用程序 HTTP 端口 | | yarn | 8090 | ResourceManager Web 应用程序 HTTPS 端口 (TLS/SSL) | | Kafka | 9092 | TCP Port | | Kafka | 9393 | JMX Port | | Kafka | 9394 | | | Kafka | 9093 | TLS/SSL Port | | Kafka | 24042 | HTTP Metric Report Port | | Hive | 9083 | Hive Metastore 服务器端口 | | Hive | 10000 | HiveServer2 端口 | | Hive | 10002 | HiveServer2 WebUI Port | | Hive | 50111 | WebHCat Server 端口 | | HDFS | 50020 | DataNode 协议端口 | | HDFS | 50010 | DataNode 收发器端口 | | HDFS | 50075 | DataNode HTTP Web UI 端口 | | HDFS | 50475 | 安全 DataNode Web UI 端口 (TLS/SSL) | | HDFS | 14000 | REST 端口 | | HDFS | 14001 | 管理端口 | | HDFS | 8485 | JournalNode RPC 端口 | | HDFS | 8480 | JournalNode HTTP 端口 | | HDFS | 8481 | 安全 JournalNode Web UI 端口 (TLS/SSL) | | HDFS | 2049 | NFS Gateway 服务器端口 | | HDFS | 4242 | NFS Gateway MountD 端口 | | HDFS | 111 | 端口映射(或 Rpcbind)端口 | | HDFS | 8020 | NameNode 端口 | | HDFS | 8022 | NameNode 服务 RPC 端口 | | HDFS | 50070 | NameNode Web UI 端口 | | HDFS | 50470 | 安全 NameNode Web UI 端口 (TLS/SSL) | | HDFS | 50090 | SecondaryNameNode Web UI 端口 | | HDFS | 50495 | 安全 SecondaryNameNode Web UI 端口 (TLS/SSL) | | Hbase | 20550 | HBase REST 服务器端口 | | Hbase | 8085 | HBase REST Server Web UI 端口 | | Hbase | 9090 | HBase Thrift 服务器端口 | | Hbase | 9095 | HBase Thrift 服务器 Web UI 端口 | | Hbase | 60000 | HBase Master 端口 | | Hbase | 60010 | HBase Master Web UI 端口 | | Hbase | 60020 | HBase Region Server 端口 | | Hbase | 60030 | HBase Region Server Web UI 端口 | | spark | 7337 | Spark Shuffle Service Port | | spark | 18088 | History Server WebUI Port | | oozie | 11000 | Oozie HTTP 端口 | | oozie | 11001 | Oozie 管理端口 | | oozie | 25 | Oozie 电子邮件操作 SMTP 端口 | | Solr | 8983 | Solr HTTP 端口 | | Solr | 8984 | Solr 管理端口 | | Hue | 8888 | Hue HTTP端口 | 第三步:运行cloudera manager   docker ps -a 查看容器ID docker exec -it 70280e4eb9a5 /bin/bash 进入容器   /home/cloudera/cloudera-manager --express --force 启动cloudera manager服务

 

 

在docker内部输入命令启动cm。这一步很慢要耐心等待, 配置host映射 root@wang-pc:/home/wang# cat /etc/hosts 127.0.0.1 localhost wang-pc quickstart.cloudera 最后访问http://127.0.0.1:7180进入cm管理页面,如果页面里提示时钟偏差,那么需要在容器里开启ntp service ntpd startservice ntpd start service ntpd start   验证 在cm里启动hdfs,hive,均能成功启停。通过http://127.0.0.1:50070/查看hdfs namenode情况。   测试hdfs, yarn 是否正常 su hdfs cd ; echo "a,b,c">a.txt; hdfs dfs -put a.txt / hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /a.txt /mapred-out-wc.txt     总结相当于二次学习和提炼,强化记忆,希望自己坚持下去 

标签:Web,Management,Service,HDFS,CDH,端口,---,Cloudera,docker
From: https://www.cnblogs.com/zjb480/p/17970139

相关文章

  • 欢迎来到Wi-Fi 6时代:解锁无线网络的未来
    作为快速发展的网络技术的见证者,我们已进入了一个新的无线通信阶段:Wi-Fi6,即802.11ax标准,已经准备好彻底转变我们连接和交流的方式。802.11ax,或Wi-Fi6,是与现代网络需求同步的下一代Wi-Fi。这不仅仅是关于速度的提升——虽然Wi-Fi6的单用户速率比802.11ac(Wi-Fi5)快了37%——而是......
  • Mysql系列---【mysql创建用户和赋权】
    全文注意大小写,我用的mysql5.7.27版本,设置区分大小写。%:代表所有主机都可以连接;如果是localhost,表示只用sqlshell在本机能连接;如果是指定的ip,表示只有这个ip的主机才能连接。1.sqlshell登录root用户mysql-uroot-ppwd;2.创建数据库CREATEDATABASExxl_jobdb;3.创建x......
  • STM32系统开发--位、字节操作
    针对MCU的嵌入是开发中经常涉及到寄存器的操作,例如GPIO配置低寄存器GPIOx_CRL(共32个bit),有时需要改变其中的一位或者几位bit值,同时不能影响其它bit位的值。 例如,需要设置第0位bit=1时,不能简单的设置为:GPIOx_CRL=0x01,这样的方法会使得低配置寄存器GPIOx_CRL的其它比特位都置......
  • 你有被if-else支配过吗?看完这篇文章,你就知道该怎么做
    在日常工作中,如果让你碰到一大堆if-else嵌套的代码,你会怎么做?背景最近在给之前负责的项目做CR的时候,在项目代码中发现有大量的if-else判断语句,阅读起来非常的折磨人而且也不利于后期的维护扩展,比较容易出问题。当时我直接气血上涌,差点昏过去。缓过几分钟之后,把写这段代码的......
  • 2024年AI预测报告-医疗卫生
    AndreessenHorowitz公司的合伙人JorgeConde生物科技的重复使用火箭在哪里?传统的药物开发既耗时又充满风险且成本高昂,这种方式非常个性化,一个分子对下一个开发的分子没有影响——就像传统的火箭一样,只能一次性使用。但现在情况正在改变。SpaceX的火箭可重复使用,改变了太空旅行......
  • Jmeter教程-JMeter 环境安装及配置
    Jmeter教程JMeter环境安装及配置在使用JMeter之前,需要配置相应的环境,包括安装JDK和获取JMeterZIP包。安装JDK1.JDK下载示例环境为Windows11环境,读者应根据实际环境下载JDK的安装包。JDK下载地址:Java21下载建议下载exe文件,如图:2.安装JDK建议在D盘下......
  • vxe-column 表头顺序:数据中改变后,但视图位置不更新
    问题在左树右表的页面中,左侧点击不同的节点,右侧表头会改变。但在某些情况下,数据中表头顺序改变了,但视图中表头位置却没变。如下图所示:尝试数据变了但视图未更新,猜测是vue更新机制导致的,于是把表头数组的赋值改为$set,无效;猜测是右侧表格组件复用导致数据未更新,(但其实vue-de......
  • dpkg/ error processing package install-info (--configure)/ installed install-inf
    背景介绍在ubuntu20.04中使用apt安装软件时会出现报错dpkg/errorprocessingpackageinstall-info(--configure)/installedinstall-infopackagepost-installationscriptsubprocessreturnederrorexitstatus126这主要是由于不完全安装导致的。解决方式是删除或编辑......
  • 网络-华为、思科交换机配置TFTP自动备份、NTP时间同步、SYSLOG日志同步功能
    前言如今园区中交换机越来越多,传统的查看日志的方式是远程到交换机在命令行中查看,但是logbuffer中保存的容量有限,也不方便查询,耗费运维人员大量的经理,不好集中管理,syslog就为解决此问题,可以搭建一台syslog服务器(我使用群辉自带的功能),将日志集中收集起来。同样的交换机的配置也......
  • CF-702-E-倍增
    702-E题目大意\(n\)个点,每个点有一条出边,边带权。给定整数\(k\)。求从每个节点出发经过\(k\)条边的路径上所有的边权和,以及最小的边权。Solution给定的图是基环树森林,从任意一个点出发无限走下去一定会进入环内。倍增板子题,这里不详细解释什么是倍增数组,具体的可以网上自行......