首页 > 其他分享 >Cloudera安装攻略:让你的数据管理更高效!

Cloudera安装攻略:让你的数据管理更高效!

时间:2024-09-25 15:05:05浏览次数:9  
标签:scm opt cloudera 数据管理 manager Cloudera 攻略 cm1

引言:之前文章《深度挖掘|Cloudera安装不再难!基础环境搭建全解析》中,我们深入探讨了如何在企业环境中精心准备系统环境,为大数据平台Cloudera 搭建奠定坚实基础。今天,我们将正式进行Cloudera Manager的下载安装与部署。

Cloudera Manager下载

步骤一:环境检查与准备确保系统环境已按照《深度挖掘|Cloudera安装不再难!基础环境搭建全解析》指导完成准备,包括操作系统版本、网络配置、防火墙设置等。同时,检查Java环境是否满足Cloudera Manager的要求。

 

步骤二:下载Cloudera Manager安装包访问Cloudera官网,根据您的需求选择合适的Cloudera Manager版本进行下载。注意检查下载链接的安全性,避免从非官方渠道下载。

Cloudera manager 安装

1. 创建安装目录 

在三台节点 cm1,cm2,cm3 中执行命令“mkdir /opt/cloudera-manager”创 建安装目录。 

并且将“cloudera-manager-el6-cm5.4.3_x86_64.tar.gz”上传至 cm1 节点的目录“/software”下,并且解压到目录“/opt/cloudera-manager” 下,在 cm1 节点执行命令如下: 

 

1.[root@cm1 software]# tar
-zxvf ./cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager/

 

2. 配置 CM Agent 的 server host 

在cm1节点上修改路径 /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent 下的 config.ini 文件,将 server_host=localhost 改成 server_host=cm1。 

 

3. 创建用户cloudera-scm

在三台节点 cm1,cm2,cm3 上创建用户“cloudera-scm”,在每台节点上执行如下命令: 

1.useradd--system--no-create-home--shell=/bin/false--comment"ClouderaSCM User" cloudera-scm

 

其中: --system 创建一个系统用户。--no-create-home 强制不创建家目录。 --shell 指定用户的 shell。--comment 用户说明。 

 

4. 创建Parcel目录在 Server 节点创建目录并修改权限: 

在 cm1 节点执行如下命令:

1.[root@cm1 cloudera-scm-agent]# mkdir -p /opt/cloudera/parcel-repo 
2.[root@cm1 cloudera-scm-agent]# chown cloudera-scm:cloudera-scm     /opt/cloudera/parcel-repo

 

在 Agent 节点创建目录并修改权限: 

在 cm1,cm2,cm3 节点上执行如下命令:

1.mkdir -p /opt/cloudera/parcels
2.chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

5. 配置CM Server数据库

将 “ mysql-connector-java-5.1.26-bin.jar ” 上传至 cm1 节 点的 /usr/share/java/目录下,如果没有目录需要先创建目录,并且修改 jar 包名称为“mysql-connector-java.jar” 

登录mysql数据库,给用户temp【这里使用temp用户,也可以是其他用户名称】赋权限,在 cm1 执行如下命令: 

1.[root@cm1 ~]# mysql -u root -p123456
2.mysql>grantallon*.*to'temp'@'%'identifiedby'temp'withgrantoption;

在 cm1 节点中指定数据库,执行如下命令:

1.[root@cm1 ~]# cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
2.[root@cm1schema]#./scm_prepare_database.shmysqltemp-hcm1-utemp-ptemp --scm-host cm1 scm scm scm

 

以上执行命令参数的解释如下:

数据库类型、数据库、数据库服务器、用户名、密码、cm server 服务器

 

6. 制作CDH本地源 

将下载好的文件 “ CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel ” 和 “ manifest.json ” 两个文件,以及制作的 “CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha”文件上传至 cm1 节点的/opt/cloudera/parcel-repo/目录下。 

以上这个步骤就是模拟安装 CDH 时,已经在 Cloudera Manager 的仓库中下载了CDH 的镜像文件。 

然后将 cm1 节点/opt/cloudera-manager 路径下的所有目录文件发送到 cm2、cm3节点。在 cm1 上执行如下命令:

1.[root@cm1 ~]# cd /opt/cloudera-manager/
2.[root@cm1 cloudera-manager]# scp -r ./* cm2:`pwd` 
3.[root@cm1 cloudera-manager]# scp -r ./* cm3:`pwd`

 

7. 启动CM Server、Agent在 cm1 节点上启动 CM Server: 

进入 cm1 路径:/opt/cloudera-manager/cm-5.4.3/etc/init.d,执行 如下命令: 

1 [root@cm1~]#cd/opt/cloudera-manager/cm-5.4.3/etc/init.d/ 
2 [[email protected]]#./cloudera-scm-serverstart

 

注意: Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装。至少等待 2-3 分钟,视机器性能而定。可以在路径/opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server 下观察日志是否启动成功。 

在 cm1cm2cm3 节点上启动 Agent: 

进入 cm1,cm2,cm3 节点路径: 

/opt/cloudera-manager/cm-5.4.3/etc/init.d,执行如下命令: 

1 cd/opt/cloudera-manager/cm-5.4.3/etc/init.d/
2 ./cloudera-scm-agentstart

至此,Cloudera Manager 的安装完成。 


以上就是今天分享的全部内容。

如果你想了解更多关于:Cloudera系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题,可以后台联系我们在线咨询,我们团队提供7x24小时不间断的技术支持服务,确保大家在任何时间遇到问题都能得到及时响应。

感谢你的阅读,如果喜欢我的文字,可以持续关注我,会陆续为你更新更多干货小知识。

 

  如果你想深入探讨了解 Cloudera大数据技术的(内存扩容/缩容策略,故障诊断与问题排查)的方法论,欢迎撩我,觉得内容有帮助,可以右下角帮我点 “点赞” 、点亮 “在看” 分享朋友圈,非常感谢你的支持,祝财源滚滚。

标签:scm,opt,cloudera,数据管理,manager,Cloudera,攻略,cm1
From: https://www.cnblogs.com/taskctl-free/p/18431376

相关文章

  • 为什么会出现vcruntime140_1.dll丢失?无需重装系统,这里有vcruntime140_1.dll丢失最全修
    为什么会出现vcruntime140_1.dll丢失?vcruntime140_1.dll是MicrosoftVisualC++RedistributablePackage的一部分,它是许多Windows应用程序正常运行所必需的。当计算机出现vcruntime140_1.dll丢失的问题时,通常是由以下几个原因造成的:安装问题:安装不完整或损坏:某些应用程......
  • React 入门第九天:与后端API的集成与数据管理
    在React学习的第九天,我集中学习了如何与后端API进行集成。这一步是将静态的React应用转变为动态、可交互的关键。通过与后端通信,我们可以从服务器获取数据、发送用户输入以及处理复杂的业务逻辑。1.使用fetch进行数据请求React没有内置的HTTP库,因此我们通常使用浏览器提供的fetch......
  • Arthas 全攻略:让调试变得简单
    文章目录一、简介二、命令列表一、简介Arthas是一款线上监控诊断产品,通过全局视角实时查看应用load、内存、gc、线程的状态信息,并能在不修改应用代码的情况下,对业务问题进行诊断,包括查看方法调用的出入参、异常,监测方法执行耗时,类加载信息等,大大提升线上问题排查效率。注意:我......
  • 找工作和租房避坑攻略
    求职第一步:1.1租房步骤在58同城上找到房源的地址,实地考察招租贴示。先选择便宜的短租房,方便后续找工作。1.2一定要避坑的地方:千万不要找中介,安居客,唯心,房天下,基本上全部是中介和相应的公司,会很坑,遇到傻逼还会跟你呛。找实际存在的招租贴,自己先看好。求职第二步:2.1......
  • 【文心智能体】 旅游手绘手帐 开发分享 零代码 手绘风景 记录行程和心情 旅游攻略
    旅游手绘手帐,点击文心智能体平台AgentBuilder|想象即现实(baidu.com)背景这个智能体是一个零代码智能体(文心智能体平台现主推零代码,低代码将于10月8日低代码下架迁移),同时它已公开配置详情,感兴趣的使用者可以参照人物设定等内容,做一款自己的专属智能体。零代码是一种较为......
  • 25豪迈面试/机械研发工程师攻略
    25豪迈机械面试面试题目+答案豪迈面试/机械研发工程师:一面问题:1、高考成绩&四六级成绩回答示例:“我的高考成绩虽然不能直接反映我的专业能力,但它是我努力学习的证明。至于四六级成绩,我顺利通过了大学英语六级考试,这有助于我在阅读英文技术文档和国际交流时更加自如。”......
  • 25石头科技机械结构工程师机械面试问题攻略
    25石头科技机械结构工程师面试心得石头科技面试题目+答案免费资源:【免费】25石头科技机械结构工程师机械面试心得资源-CSDN文库https://download.csdn.net/download/m0_72216164/89768935?spm=1001.2014.3001.5503下面分享石头科技机械结构工程师面试全过程。①一面(40min)......
  • Linux 后台运行服务的全攻略:nohup、screen、tmux 和 systemd 的实战指南
    Linux后台运行服务的全攻略:nohup、screen、tmux和systemd的实战指南在服务器运维或后台开发中,保持服务在后台稳定运行是一项非常重要的需求。无论是开发阶段还是生产环境,确保服务在终端关闭后持续运行是保证服务可用性的关键。本文将详细介绍几种常见的后台运行服务的......
  • Tomcat CVE-2017-12615 靶场攻略
    漏洞描述当Tomcat运⾏在Windows操作系统时,且启⽤了HTTPPUT请求⽅法(例如,将readonly初始化参数由默认值设置为false),攻击者将有可能可通过精⼼构造的攻击请求数据包向服务器上传包含任意代的JSP⽂件,JSP⽂件中的恶意代码将能被服务器执⾏。导致服务器上的数据泄露或获取服务......
  • Jboss CVE-2017-12149 靶场攻略
    漏洞简述该漏洞为Java反序列化错误类型,存在于Jboss的HttpInvoker组件中的ReadOnlyAccessFilter过滤器中。该过滤器在没有进⾏任何安全检查的情况下尝试将来⾃客户端的数据流进⾏反序列化,从⽽导致了漏洞漏洞范围JBoss5.x/6.x环境搭建cdvulhub-master/jboss/CVE-20......