首页 > 系统相关 >虚拟机(CentOS6.5)hadoop分布式集群搭建

虚拟机(CentOS6.5)hadoop分布式集群搭建

时间:2023-06-15 14:35:33浏览次数:53  
标签:opt ntp 虚拟机 hadoop module server etc CentOS6.5


ps:本次三台虚拟机均由克隆而来

  1. 修改MAC地址
  1. vim /etc/vim /etc/udev/rules.d/70-persistent-net.rules
  2. 删除name="eth0"一行
  3. 将name="eth1"的name改为name="eth0"之后将该行ATTR(address)复制
  4. vim /etc/sysconfig/network-scripts/ifcfg-eth0
  5. 将IPADDR设置为虚拟IP(eg:192.168.229.201),HWADDR设置为刚才复制的ATTR(address)
  1. 修改主机名
  1. vim /etc/sysconfig/network
  2. 修改HOSTNAME=hadoop201(另外两台虚拟机分别为hadoop202,hadoop203)
  3. vim /etc/hosts
  4. 添加如下内容:
    192.168.229.201 hadoop201
    192.168.229.202 hadoop202
    192.168.229.203 hadoop203
  5. 重启
  1. 修改 windows系统 的 hosts 文件
  1. 进入C:\Windows\System32\drivers\etc
  2. 打开 hosts 文件并添加如下内容:
    192.168.229.201 hadoop201
    192.168.229.202 hadoop202
    192.168.229.203 hadoop203
  1. 关闭防火墙
  1. chkconfig iptables off
  1. 创建hadoop用户
  1. adduser hadoop
  2. passwd hadoop
  1. 设置hadoop用户具有root权限
  1. vim /etc/sudoers
  2. root    ALL=(ALL)       ALL
    hadoop  ALL=(ALL)       ALL
  1. 再/opt目录下创建 module 和 software文件夹并且将这两个文件夹属主与属组改为hadoop
  1. mkdir /opt/module /opt/software
  2. chown hadoop:hadoop module software
  1. 安装JDK,hadoop
  1. 安装JDK与之前所述一致
  2. 安装hadoop
  1. 将hadoop安装包导入到 /opt/software文件夹下并将其解压到 /opt/module文件夹下
  2. 进入到 解压后的hadoop文件夹中
  3. pwd将路径进行复制
  4. vim /etc/profile
  5. export HADOOP_HOME=/opt/module/hadoop-2.7.6
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  6. source /etc/profile
  7. 修改/opt 目录下的所有文件所有者为hadoop
  1. # chown hadoop:hadoop -R /opt
  1. (以上所有操作均是用root用户操作,之后切换成hadoop用户)   su hadoop
  1. 完成上述操作后 将此台虚拟机克隆出两台命名为hadoop202,hadoop203,并对其同上修改MAC,IP地址,hostname
  2. 配置ssh免密码登录(三台主机均如下操作)
  1. cd ~
  2. ssh-keygen -t rsa(三下回车)
  3. ssh-copy-id hadoop201 
  4. ssh-copy-id hadoop202 
  5. ssh-copy-id hadoop203
  1. 配置文件
  1. core-site.xml
  1. <!-- 指定HDFS 中 NameNode 的地址 -->
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop203:9000</value>
    </property>
    <!-- 指定 hadoop 运行时产生文件的存储目录 -->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.6/data/tmp</value>
    </property>
  1. hadoop-env.sh
  1. export JAVA_HOME=/opt/module/jdk1.8.0_151
  1. hdfs-site.xml
  1. <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop202:50090</value><!--secondaryNameNode地址-->
    </property>
  1. slaves
  1. hadoop201
    hadoop202
    hadoop203
  1. yarn-env.sh
  1. export JAVA_HOME=/opt/module/jdk1.8.0_151
  1. yarn-site.xml
  1. <!-- reducer 获取数据的方式 -->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 YARN 的 ResourceManager 的地址 -->
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop201</value>
    </property>
  1. mapred-env.sh
  1. export JAVA_HOME=/opt/module/jdk1.8.0_151
  1. mapred-site.xml
  1. <!-- 指定 mr 运行在 yarn 上 -->
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
  1. 运行hadoop
  1. 如果是第一次启动 需要先进行格式化操作
  1. hdfs namenode -format
  1. 启动HDFS
  1. start-dfs.sh
  1. 启动YARN
  1. start-yarn.sh
  2. 注意:Namenode 和 ResourceManger 如果不是同一台机器,不能在 NameNode 上启动 yarn,应该在 ResouceManager 所在的机器上启动yarn
  1. 集群时间同步
  1. 时间服务器配置(root用户)
  1. 检查ntp是否安装
  1. rpm -qa|grep ntp
  1. 修改配置文件 vim /etc/ntp.conf
  1. 修改 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap  为
        restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
  2. 修改
    server 0.centos.pool.ntp.org iburst
        server 1.centos.pool.ntp.org iburst
        server 2.centos.pool.ntp.org iburst
        server 3.centos.pool.ntp.org iburst 为
        #server 0.centos.pool.ntp.org iburst
        #server 1.centos.pool.ntp.org iburst
        #server 2.centos.pool.ntp.org iburst
        #server 3.centos.pool.ntp.org iburst
  3.  
    添加
    server 127.127.1.0
        fudge 127.127.1.0 stratum 10
  1. 修改/etc/sysconfig/ntpd 文件
  1. vim /etc/sysconfig/ntpd
  2. 添加 SYNC_HWCLOCK=yes
  1. 重新启动 ntpd
  1. service ntpd start
  2. chkconfig ntpd on
  1. 其他机器配置
  1. crontab -e
  2. 编写  */1 * * * * /usr/sbin/ntpdate hadoop101

标签:opt,ntp,虚拟机,hadoop,module,server,etc,CentOS6.5
From: https://blog.51cto.com/u_14813899/6487215

相关文章

  • 使用Node.js和WebHDFS REST API访问Hadoop HDFS数据
    可用服务以下是可用的服务集:1)文件和目录操作  1.1创建和写入文件:CREATE(HTTPPUT)  1.2附加到文件:APPEND(HTTPPOST)  1.3打开并读取文件:OPEN(HTTPGET)  1.4创建目录:MKDIRS(HTTPPUT)  1.5重命名文件/目录:RENAME(HTTPPUT)  1.6删除文件/目录:DELETE(HTTPDELETE) ......
  • 安装创建虚拟机及VM tools
    安装下载地址https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html 点击下一步即可 注意安装位置,只点击控制台,用户体验设置因为不是最新版原因全都不点 点击安装 点击许可证百度一个密钥输入即可例如ZF3R0-FHED2-M80TY-8QY......
  • Hadoop学习笔记——Hadoop常用命令
    Hadoop下有一些常用的命令,通过这些命令可以很方便操作Hadoop上的文件。1、查看指定目录下的内容语法:hadoopfs-ls文件目录2、打开某个已存在的文件语法:hadoopfs-cat文件地址[|more][]表示的是可选命令3、将本地文件存到Hadoop语法:hadoopfs-put本地文件地址Hadoop目录4......
  • hadoop优化部分参数
    yarn-site.xml:表示该节点服务器上yarn可以使用的虚拟CPU个数,默认是8,推荐将值配置与物理核心个数相同yarn.nodemanager.resource.cpu-vcores:24设置该节点上yarn可使用的内存,默认为8G,如果节点内存资源不足8G,要减少这个值,yarn不会智能的去检测内存资源,一般这个设置yarn的可用内......
  • hadoop状态和任务监控
    #-*-coding:UTF-8-*-importmysql.connectorimportsysimportdatetimeimportimportlibimportrequestsimportlib.reload(sys)#修改hadoop地址参数为实际地址env_code='生产环境http://172.16.159.75:18888/'hadoop_code='生产环境hadoophttp://172.16.159.75......
  • 深入剖析创建Java虚拟机的实现方法
    经过前文《深入剖析java.c文件中JavaMain方法中InitializeJVM的实现》的分析,找到了创建Java虚拟机具体实现的方法Threads::create_vm((JavaVMInitArgs*)args,&can_try_again)。该方法的实现在src\hotspot\share\runtime\threads.cpp文件,我去掉了部分英文注释和宏条件代码,代码更......
  • 【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)
    目录一、概述二、Ambari与HDP关系三、Ambari与Clouderamanager的对比1)开源性2)支持的发行版3)用户界面4)功能和扩展性5)社区支持和生态系统四、ApacheAmbari术语五、ApacheAmbari核心组件介绍六、ApacheAmbari架构1)Ambari-agent内部架构2)Ambari-server内部架构3)Ambari......
  • VMware虚拟机和主机传输文件
    原文链接虚拟机为Linux系统使用vm-tools即可。卸载旧工具:vmware-uninstall-tools.pl安装新工具:apt-getinstallopen-vm-tools-desktop重启系统:reboot此时可以使用Ctrl+C、Ctrl+V的方式在主机和Linux虚拟机之间传输文件。虚拟机为Windows系统首先在本机新建一个文件......
  • VMware虚拟机和主机传输文件
    原文链接虚拟机为Linux系统使用vm-tools即可。卸载旧工具:vmware-uninstall-tools.pl安装新工具:apt-getinstallopen-vm-tools-desktop重启系统:reboot此时可以使用Ctrl+C、Ctrl+V的方式在主机和Linux虚拟机之间传输文件。虚拟机为Windows系统首先在本机新建一个文件......
  • VM虚拟机模板,克隆或导入后网络不通问题解决办法
    出于工作需要可能需要对VM虚拟机制作模板,并导出为.vof文件,并根据vof模板文件导入为新的虚拟机,但是当导入后会发现网络不通,现将网络问题解决办法进行记录:本次实验OS为Centos7,网卡默认配置文件名为ifcfg-ens331.保留默认网卡网卡目录:/etc/sysconfig/network-scripts/保留默认......