- 2024-05-27常用hdfs命令
hdfsdfs-mkdir/home/hdp-ait/wangwei22hdfsdfs-ls/home/hdp-ait/wangwei22hdfsdfs-du-h/home/hdp-ait/wangwei22hdfsdfs-touchz/home/hdp-ait/wangwei22/a.txthdfsdfs-rm/home/hdp-ait/wangwei22/edges.txthdfsdfs-rm/home/hdp-ait/wangwei22/vertexs.txt
- 2024-05-03制作yum源
..ambari.repo[ambari]name=ambaribaseurl=http://x.x.x.x/ambari/ambari/centos7/2.7.4.0-118gpgcheck=0 hdp.repo[HDP]name=HDPbaseurl=http://x.x.x.x/hdp/HDP/centos7/3.1.4.0-315/gpgcheck=0[HDP-UTILS]name=HDP_UTILSbaseurl=http://x.x.x.x/hdp-utils
- 2024-01-28CDH,HDP,CDP介绍
CDH是Cloudera公司的代表产品,HDP是Hortonworks公司的代表产品,2019年1月进行了合并,形成了新的Cloudera公司,代表产品CDP。在两家公司合并前,Cloudera当时有两个主推的大数据平台产品:CDH5和CDH6。Hortonworks有两个主推的平台产品:HDP2和HDP3。这两家公司的产品分别对应Hadoop2和Ha
- 2024-01-21HDP 相关日志位置
1.HIVESERVER2的日志:/var/log/hive-rwxrwxrwx1hivehadoop4791月1418:20hive.err-rwxrwxrwx1hivehadoop24381月1320:27hivemetastore-gc-2024-01-13_20-27-25.log.0.current-rwxrwxrwx1hivehadoop1032641月1321:47hivemetastor
- 2023-12-24鲲鹏920 aarch64 版本 Ambari HDP 下载地址
本文能够适配兼容华为鲲鹏920 aarch64 版本,仅限CentOS7、openEuler20.03-LTS操作系统以下是详细下载地址1、CentOS7aarch64版本CentOS7aarch64https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/
- 2023-11-15Hibench对大数据平台CDH/HDP基准性能测试
一、部署方式1.1、源码/包:https://github.com/Intel-bigdata/HiBench部署方法:https://github.com/Intel-bigdata/HiBench/blob/master/docs/build-hibench.md注意:hibench执行需hadoop客户端jar包环境如何使用HiBench进行基准测试说明:https://cloud.tencent.com/developer/ar
- 2023-09-07ELK日志缺失问题排查-多行日志聚合Logstash配置问题
1.背景推荐系统的推荐请求追踪日志,通过ELK收集,方便遇到问题时,可以通过唯一标识sid来复现推荐过程最近在碰到了几个badcase,需要通过sid来查询推荐日志,但发现部分无法在kibana查询到2.分析推荐日志的整个收集流程如下: 线上机器日志平台FlumeKafkaLogstashE
- 2023-08-24【HDP】jupyter配置pyspark
source/usr/hdp/3.3.1.0-002/spark2/bin/load-spark-env.shnohupjupyternotebook--no-browser--port18888--ip0.0.0.0--allow-root--NotebookApp.token=root>jupyter.log2>&1& 关闭INFO级别日志$SPARK_HOME/conf/log4j.propertieslog4j.rootCate
- 2023-06-18通过 docker-compose 快速部署 Apache Ambari 保姆级教程
目录一、概述二、前期准备1)部署docker2)部署docker-compose三、ApacheAmbari编排部署1)获取Ambari安装包2)yum源配置文件3)用户和库初始化sql文件4)启动脚本bootstrap.sh5)修改源码6)构建镜像Dockerfile7)配置hosts8)编排docker-compose.yaml9)开始部署10)检测五、通过ApacheAmb
- 2023-06-15集群变更备忘录
HDPyum变更之前搭的镜像虚拟机不想启动了,但是yum命令会报错,把之前配置的文件删了mkdir/etc/yum.repos.d.bakcd/etc/yum.repos.dmvambari-hdp-51.repoambari.repoHDF.repoHDP.repoHDP-UTILS.repo/etc/yum.repos.d.bak/yumcleanallyummakecache
- 2023-06-13【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)
目录一、概述二、Ambari与HDP关系三、Ambari与Clouderamanager的对比1)开源性2)支持的发行版3)用户界面4)功能和扩展性5)社区支持和生态系统四、ApacheAmbari术语五、ApacheAmbari核心组件介绍六、ApacheAmbari架构1)Ambari-agent内部架构2)Ambari-server内部架构3)Ambari
- 2023-06-01部署Ambari2.7.5 + HDP3.1.5安装
java安装1.java解压安装cd/opttar-zxvfjdk1.8.0_181.tar.gz2.编辑环境变量配置vim/etc/profileexportJAVA_HOME=/opt/jdk1.8.0_231exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar3.生效环境变量配置sourc
- 2023-04-29【ambari】构建ambari的docker镜像
githubhttps://github.com/code-ssd/ambari-in-docker.gitambari2.7.6indocker使用centos7构建的。软件包下载HDP3.3.1.0-002版本从公众号:HiDataPlus下载。或者使用阿里云下载(ambari-in-dockerhttps://www.aliyundrive.com/s/gQXWmpNVC5F提取码:qd46)我的repo文件夹
- 2023-03-18Arm64v8 cpu + Centos7 aarch64中安装 Ambari 2.7.3 和 HDP 3.1.0
#下载不存在的资源的方法使用迅雷云盘,添加下载任务到云盘,有一定的概率下载到已经被删除的资源。比如下载HDP相关的资源:<http://mirrors.huaweicloud.com/kunpeng/yum
- 2023-03-10CentOS 7 部署 HDP 3.3.1
一、环境服务器名称配置IP地址备注hdp-161-1418核/16G内存/300GSSD硬盘10.32.161.141MGR/Agenthdp-161-1428核/16G内存/300GSSD硬盘10.32.161.142Age
- 2022-12-22centos7通过Ambari2.74部署Hadoop
一、前言服务器:建议第一台内存不少于16G,其他可以8G 软件版本:资源链接:链接:https://pan.baidu.com/s/17GWF0opxYl0MIm2LJNUGRg?pwd=iq4l提取码:iq4l 二、部署前环境
- 2022-11-01一台虚拟机,基于docker搭建大数据HDP集群
前言好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做。这个可以参考之前写得关于我大数据毕业设计的文章。这篇文章是将对之前的毕设进行优化。个人觉得可以分为
- 2022-10-25华为云桌面,随时随地助力企业轻松办公
在互联网飞速发展的今天,各行业企业业务差异较大,信息化系统之间也存在一定程度的信息孤岛问题,导致数据无法有效共享。随着企业对自身IT建设投入的加大,越来越多的企业开始使
- 2022-10-16华为云桌面随时随地,开启云上办公
华为云桌面随时随地,开启云上办公随着疫情常态化的到来,曾作为员工福利的居家办公、远程办公和协同办公变得越来越常见,不少企业逐渐对云数字化办公产生需求。与此同时,在推
- 2022-10-15hadoop集群搭建与简单应用
系统镜像:CentOS-6.5-x86_64-Li.iso虚拟机:VMwareWorkstation16Pro(16.0.0build-16894299)JDK:1.8.0_161hadoop:2.7.0创建虚拟机虚拟机安装后将系统install对mas