说明：尽量不要用root用户安装和启动mysql问题示例原因：一般是root用户执行导致，如果MySQL是root以外用户安装的，则用安装的用户执行不会出差固执：这里就是要用root执行。[root@hadoop01mysql]#servicemysqlstartStartingMySQL.Loggingto'/opt/mysql/data/hadoop01.err'.

第一章Kafka常用命令1. Topic（主题）1.1. 创建Topicbin/kafka-topics.sh--create--bootstrap-serverhadoop01:9092 --replication-factor2 --partitions1 --topictest 1.2. 查询Topic列表1.2.1. 查询所有Topic列表bin/kafka-topics.sh--list--bootstrap-ser

问题描述在阿里云服务器上安装的Hadoop和Hive，刚开始关闭了防火墙。但是由于服务器被被黑客安装挖矿程序，所以开启了防火墙。但是即使开启了所有可能的端口，但是在向Hive中插入数据时，依然报错提示：CallFromhadoop01/172.23.238.2tohadoop01:10020failedonconnectionexception

目录一、VMware虚拟机安装（1）虚拟机创建及配置 （2）创建工作文件夹二、克隆虚拟机三、配置虚拟机的网络（1）虚拟网络配置（2）配置虚拟机主机名（3）配置虚拟机hosts（4）配置DNS、网关等（5）reboot重启虚拟机四、配置SSH服务（1）确认ssh进程 （2）生成秘钥（3）秘钥拷贝 五、JDK安装（1）把JDK安装包传输到虚拟机（2）

1、背景我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储的，那么是否就不安全呢？那么在hdfs中是如何做才能做到数据的透明加密呢？2、常见的加密层级应用层加密：这是最安全和最灵活的方法。加密内容最

1、背景我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储的，那么是否就不安全呢？那么在hdfs中是如何做才能做到数据的透明加密呢？2、常见的加密层级应用层加密：这是最安全和最灵活的方法。加密内容最

1、背景在我们开发的过程中有这么一种场景，/projectA目录是hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root，我想root用户可以访问这个目录，在不修改

一、时区查看时区：cat/etc/sysconfig/clock时区存放文件：/etc/localtime修改时区：cp/usr/share/zoneinfo/Asia/Shanghai /etc/localtime修改验证：date  返回有CST,表示修改正确了二、时间查看时间：date 或者  date-R或者按指定格式：date"+%Y-%m-%d%H:%M:%S"[root@hadoo

一、SSH概念SSH为SecureShell（安全外壳协议）的缩写，简单说，SSH只是一种网络协议，用于计算机之间的加密登录传输，很多ftp、pop和telnet在本质上都是不安全的，因为它们在网络上用明文传送口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而SSH就是专为远程登录会话和其他网络服务

1、背景我们知道，在mac系统上删除文件，一般情况下是可以进入废纸篓里的，如果此时我们误删除了，还可以从废纸篓中恢复过来。那么在hdfs中是否存在类似mac上的废纸篓这个功能呢？答案是存在的。2、开启hdfstrash功能当我们启用Trash功能后，从HDFS中删除某些内容时，文件或目录不会

1、背景我们知道，在mac系统上删除文件，一般情况下是可以进入废纸篓里的，如果此时我们误删除了，还可以从废纸篓中恢复过来。那么在hdfs中是否存在类似mac上的废纸篓这个功能呢？答案是存在的。2、开启hdfstrash功能当我们启用Trash功能后，从HDFS中删除某些内容时，文件或目录不会

搭建三个hadoop集群的时候,master没有启动namenode和datanode，报错:Startingnamenodeson[hadoop01]hadoop01:root@hadoop01:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).Startingdatanodeshadoop01:root@hadoop01:Permissiondenied(publicke

目录1、背景2、hdfsbalancer和hdfsdiskbalancer有何不同？3、操作3.1生成计划3.2执行计划3.3查询计划3.4取消计划4、和diskbalancer相关的配置5、额外知识点5.1新的block存储到那个磁盘(卷)中5.2磁盘数据密度度量标准6、参考文档1、背景在我们的hadoop集群运行一段过

1、背景此处我们通过命令行，简单的学习一下hdfsfilesystemshell的一些操作。2、hdfsfilesystemshell命令有哪些我们可以通过如下网址https://hadoop.apache.org/d

目录1、背景2、hdfsfilesystemshell命令有哪些3、确定shell操作的是哪个文件系统4、本地准备如下文件5、hdfsfilesystemshell5.1mkdir创建目录5.2put上传文件5.3l

目录1、背景2、集群规划2.1hdfs集群规划2.2yarn集群规划3、集群搭建步骤3.1安装JDK3.2修改主机名和host映射3.3配置时间同步3.4关闭防火墙3.5配置ssh免密登录3.5.1

1、背景最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。2、编译源码2.1下载并解压

一，配置mapred-site.xml进入以入目录[root@hadoop01hadoop]#cd/home/software/hadoop-2.7.1/etc/hadoop复制mapred-site.xml示例文件[root@hadoop01hadoop]#cpmapred-s

0.Hadoop和Java之间的版本配套官方描述：https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersionshadoop3.x版本仅支持Java8hadoop2.7.x及以上版本支持J

HBase安装​​http://hbase.apache.org/​​ HBase的安装也有三种模式：单机模式、伪分布模式和完全分布式模式，在这里只介绍完全分布模式。前提是Hadoop集群和Zookeeper已经

0.Hadoop和Java之间的版本配套官方描述：https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersionshadoop3.x版本仅支持Java8hadoop2.7.x及以上版本

启动集群安装docker下载网址：https://www.docker.com/products/docker-desktop/构建基础镜像拉取centos镜像dockerpullcentos:7.5.1804创建文件夹，将jdk安装包放入，