首页 > 其他分享 >Hadoop完全分布式 => 集群时间同步

Hadoop完全分布式 => 集群时间同步

时间:2023-04-17 16:34:17浏览次数:34  
标签:10 同步 ntp Hadoop crontab 集群 时间 pool 分布式


1.crontab定时任务

cd /opt/module/hadoop-2.9.2/

crontab -e

第一次执行命令的时候分出现下面内容,输入2回车

Hadoop完全分布式 => 集群时间同步_Hadoop

如果不小心输错的话,退出输入命令:select-editor

输入2回车,然后再次执行crontab -e即可

重启crontab服务方法:service crontab restart

2.集群时间同步

时间同步方式:找一个机器,作为时间服务器,所有的机器也这台集群时间进行定时的同步。比如,每隔十分钟,同步一次时间

时间服务器:

1)检索 ntp 是否安装

dpkg -s ntp

安装 ntp: 

2)修改 ntp 配置文件

vim /etc/ntp.conf

修改1:授权 192.168.197.0 -  192.168.197.255 网段上的所有机器可以从这台机器上查询和同步时间

    #restrict 192.168.123.0 mask 255.255.255.0 notrust

    改:restrict 192.168.197.0 mask 255.255.255.0 notrust

修改2:集群在局域网中,不使用其它互联网上的时间

    注释下面:

    pool 0.ubuntu.pool.ntp.org iburst
    pool 1.ubuntu.pool.ntp.org iburst
    pool 2.ubuntu.pool.ntp.org iburst
    pool 3.ubuntu.pool.ntp.org iburst
    pool ntp.ubuntu.com

修改3:当该节点丢失网络连接,依然可以采用本地时间作为时间服务器为集群中的其它节点提供时间同步

    追加:

    pool 127.127.1.0
    fudge 127.127.1.0 stratum 10

3)修改 /etc/sysconfig/ntpd 文件

    加上 SYNC_HWCLOCK=yes (我的机器没有这个文件,暂时不设)

让硬件时间与系统时间一起同步

4)重启 ntpd 服务

    service ntpd restart

5)设置 ntpd 服务开机启动

    chkconfig ntpd on

其它机器:

1)配置每10分钟与时间服务器同步一次

crontab -e

追加以下内容

*/10 * * * * /usr/bin/ntpdate hadoop101
2)修改机器时间测试10分钟后是否会同步时间

查看当前系统时间

date

// 2020年 05月 03日 星期日 04:29:48 PDT

修改当前系统时间

date -s "2020-11-01 10:10:10"

过10分钟后查看时间是否同步(如果觉得时间太长,可以将同步时间改为1分钟)

 

 

标签:10,同步,ntp,Hadoop,crontab,集群,时间,pool,分布式
From: https://blog.51cto.com/u_12374018/6195456

相关文章

  • Hadoop完全分布式 => 集群ssh配置与群起
    ssh配置cd/root/.ssh/ (注意如果没有.ssh文件,执行下命令ssh会自动生成)ssh-keygen-trsa 一路回车将公钥拷贝到hadoop102ssh-copy-idhadoop102拷贝成功后hadoop102的/root/.ssh/文件夹会生成文件authorized_keys这样之后就hadoop101可以无密登录hadoop102了,之后三个虚拟机都......
  • 爬取的数据存mysql中、加代理,cookie,header,加入selenium、布隆过滤器、scrapy-redis实
    上节回顾#1scrapy架构 -爬虫:写的一个个类-引擎: -调度器:排队,去重-下载器-pipline-下载中间件-爬虫中间件#2命令 -scrapystartproject项目名-scrapygensipder爬虫名网址-scrapycrawl爬虫名字-run.py#......
  • 分布式政企应用如何快速实现云原生的微服务架构改造
    随着数字化时代的快速发展,企业和组织正面临着如何在保持敏捷和灵活的同时,提高业务运营效率和降低成本的巨大挑战。为了应对这些挑战,许多企业开始采用面向服务的架构(SOA)和企业服务总线(ESB)来构建和集成复杂的应用系统。然而,随着云计算和微服务等新技术的出现,SOA/ESB架构也面临着一些......
  • 技术分享 | 如何迅速将分布式政企应用转型为云原生微服务架构
    在当今这个快速发展的数字化时代,企业和组织正面临着巨大的挑战,如何在保持敏捷和灵活的同时,提高业务运营效率和降低成本。为了应对这些挑战,许多企业开始采用面向服务的架构(SOA)和企业服务总线(ESB)来构建和集成复杂的应用系统。然而,随着云计算和微服务等新技术的出现,SOA/ESB架构也面临......
  • 分布式session
    https://blog.csdn.net/wangb_java/article/details/107418160 实现同域 @Bean publicCookieSerializercookieSerializer(){ DefaultCookieSerializerserializer=newDefaultCookieSerializer(); serializer.setCookieName("JSESSIONID");//1 ......
  • 安装Zookeeper和Kafka集群
    安装Zookeeper和Kafka集群本文介绍如何安装Zookeeper和Kafka集群。为了方便,介绍的是在一台服务器上的安装,实际应该安装在多台服务器上,但步骤是一样的。安装Zookeeper集群下载安装包从官网上下载安装包:curlhttps://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookee......
  • ClickHouse集群+ZooKeeper集群架构下的ZooKeeper集群迁移
     ClickHouse集群+ZooKeeper集群架构下的ZooKeeper集群迁移 目前测试环境的ck集群+zk集群架构如下:ClickHouseZooKeeper192.168.1.171192.168.1.172192.168.1.173192.168.1.174192.168.1.171192.168.1.172192.168.1.173由于ck和zk混搭在一块,存在较为严重......
  • 多分布式电源参与的混合微电网容量优化配置是微电网设计的一个重要环节,文中针对风电场
    [1]关键词:非合作博弈;粒子群算法;风-光-氢微网;容量配置;matlab[2]参考文献:《基于非合作博弈的风-光-氢微网容量优化配置》[3]主要内容:原文程序,多分布式电源参与的混合微电网容量优化配置是微电网设计的一个重要环节,文中针对风电场、光伏电站和制氢-储氢-发电一体化微电网系统的容......
  • Windows10系统下Hadoop和Hive环境搭建
    文章部分内容来自:https://www.cnblogs.com/sheng-sjk/p/16186508.html结合实际搭建过程中的问题,对文章进行了优化环境准备软件版本备注Windows10操作系统JDK8暂时不要选用大于等于JDK9的版本,因为启动虚拟机会发生未知异常MySQL8.x用于管理Hive的元数据......
  • 分析型数据库:分布式分析型数据库
    分析型数据库的另外一个发展方向就是以分布式技术来代替MPP的并行计算,一方面分布式技术比MPP有更好的可扩展性,对底层的异构软硬件支持度更好,可以解决MPP数据库的几个关键架构问题。本文介绍分布式分析型数据库。  —背景介绍—目前在分布式分析型数据库领域,学术界今年的研......