用于大数据集群的Centos7虚拟机基础环境配置

用于大数据集群（自定义Hadoop和CDH6）的Centos7虚拟机基础环境配置

博客ID 2

安装一些通用的软件并配置，然后复制为多个虚拟机

1. 下载 CentOS-7-x86_64-DVD-1908.iso http://ftp.iij.ad.jp/pub/linux/centos-vault/7.7.1908/isos/x86_64/CentOS-7-x86_64-DVD-1908.iso

2. 在Vmware中 创建虚拟机 Centos7-Base
   设置root密码 123456， 设置用户hadoop， 密码hadoop

3. 重启，登录，通过ip addr命令查看ip地址，使用xshell登录到虚拟机（方便操作）
   在安装时候需要把添加的普通用户，即hadoop添加到管理者组，如果安装时忘记：手动添加
   https://blog.csdn.net/qq_40309341/article/details/120742506

4. 安装wget

   yum -y install wget` 
   # 卸载wget的语句为
   # yum -y remove wget 
   

5. 换源

   • 备份原来的设置

     mkdir /etc/yum.repos.d/backup
     mv /etc/yum.repos.d/*.* /etc/yum.repos.d/backup
     

   • 使用阿里云yum源：

     wget -O /etc/yum.repos.d/CentOS7-Aliyun.repo http://mirrors.aliyun.com/repo/Centos-7.repo
     wget -O /etc/yum.repos.d/epel-7-Aliyun.repo http://mirrors.aliyun.com/repo/epel-7.repo
     

   • 更新缓存

     yum clean all
     yum makecache
     #查看源列表
     yum repolist all
     

6. 先一次性安装以下所有软件：

   # 更新
   yum -y update && yum upgrade
   
   # lrzsz是可以通过rz/sz从linux主机上传/下载文件的软件
   yum -y install lrzsz vim curl ntp 
   
   # 安装一些编译软件后面可以编译源码使用
   yum -y install git gcc gcc-c++
   

7. 更新和软件

   • 更新:yum -y update && yum upgrade

   • 安装rz：yum -y install lrzsz
     如果使用的是xshell需要进一步配置：
     
     

   • 安装vim: yum -y install vim

   • 安装curl: yum -y install curl

   • 安装: yum -y install

   • 安装ntp服务，同步阿里云ntp服务器时间: yum -y install ntp

8. 安装jdk

   # 在/opt/目录下新建两个文件夹用于存放安装包和安装的软件
   mkdir -p /opt/software /opt/module
   # 把需要安装的软件放到software中
   
   jdk_gz_file_path="/opt/software/jdk-8u361-linux-x64.tar.gz"
   JAVA_INSTALL_DIR="/opt/module"
   
   tar -zxvf $jdk_gz_file_path -C $JAVA_INSTALL_DIR
   # 重命名jdk文件夹为 jdk1.8
   mv jdk1.8.0_361 jdk1.8
   

   设置环境变量：

   vim /etc/profile
   在文件最后添加
   export JAVA_HOME=/opt/module/jdk1.8
   export PATH=$PATH:$JAVA_HOME/bin
   
   # 更新环境变量
   source /etc/profile
   
   # 验证jdk安装成功
   java -version
   

9. 安装scala

   tar -zxvf scala-2.12.17.tgz  -C ../module/
   
   # 设置环境变量
   vim /etc/profile
   
   export SCALA_HOME=/opt/module/scala-2.12.17
   export PATH=$PATH:$SCALA_HOME/bin
   
   # 验证
   scala -version