首页 > 其他分享 >Hbase跨集群同步数据

Hbase跨集群同步数据

时间:2023-07-26 15:34:33浏览次数:29  
标签:同步 快照 graph 192.168 jfrcs 集群 snapshot Hbase hbase

增量同步

add_peer '5', CLUSTER_KEY => "192.168.1.1,192.168.1.2,192.168.1.3:2181:/hbase", STATE => "ENABLED"

set_peer_tableCFs '5', { "jfrcs:graph" => ["e", "f", "g", "h", "i", "l", "m", "s", "t"] }

enable_table_replication 'jfrcs:graph'




快照全量

1.源头他那快照
snapshot 'jfrcs:graph','jfrcs_graph_snp'

2.源头发到目标
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot jfrcs_graph_snp -copy-to hdfs://ip:8020/hbase -mappers 32 -bandwidth 250

3.目标节点恢复快照
clone_snapshot 'jfrcs_graph_snp', 'jfrcs:graph'


标签:同步,快照,graph,192.168,jfrcs,集群,snapshot,Hbase,hbase
From: https://blog.51cto.com/wang/6856551

相关文章

  • 时间同步 ntp服务器
    目录一.定义二.项目要求三.部署服务端四.部署客户端一.定义#01简介:ntp全名networktimeprotocol。NTP服务器可以为其他主机提供时间校对服务#02ntp和ntpdate区别1)两个服务都是centos自带的(centos7中不自带ntp)。ntp的安装包名是ntp;ntpdate的安装包是ntpdate。他们......
  • centos7 用docker 部署 nacos集群--以mysql持久化--以nginx代理
     创建一个文件夹,把四个配置文件放进去,然后运行:dockercompose-f-dnacos.ymlupmysql-schema.sqlnacos.confnacos.envnacos.yml  mysql-schema.sql内容:/**Copyright1999-2018AlibabaGroupHoldingLtd.**LicensedundertheApacheLicense,Version2.......
  • 使用maxwell实现数据库主从同步
    前置条件maxwell使用1.29.2版本,再高的版本不支持JDK1.8。使用Maxwell之前需要准备搭建以下环境 在https://www.cnblogs.com/szhNJUPT/p/17574193.html有详细搭建过程mysql采用5.7.43,尝试过mysql8.0版本,但是由于utf8mb3字符集在mysql8.0版本被舍弃,导致maxwell连接失败。数据......
  • HBase Java客户端编程
    本文以HBase0.90.2为例,介绍如何在Windows系统,EclipseIDE集成环境下,使用Java语言,进行HBase客户端编程,包含建立表、删除表、插入记录、删除记录、各种方式下的查询操作等。1.准备工作1、下载后安装jdk包(这里使用的是jdk-6u10-rc2-bin-b32-windows-i586-p-12_sep_2008);2、下载eclips......
  • nginx实现服务器端集群搭建(五)
    nginx与tomcat部署环境准备(tomcat)1.准备Tomcat环境,并在Tomcat上部署一个web项目2.准备Nginx环境,使用Nginx接收请求,并把请求分发到Tomat上3、浏览器访问:http://192.168.200.146:8080/demo/index.html获取动态资源的连接地址http://192.168.200.146:8080/demo/getAddress......
  • k8s上搭建elasticsearch单节点集群(固定存储)
    因为Elasticsearch需要保持数据在固定的磁盘上,属于有状态的应用服务,因此采用k8s的StatefulSet模式部署。创建PersistentVolumes和Claim#es-persistent-volume.yamlapiVersion:v1kind:PersistentVolumemetadata:name:es-nfs-pvlabels:pv:es-nfs-pvspec:......
  • hadoop hive hbase
    公司报表是基于数仓开发的,分层是ods>dwd>dwm>dm,sqoop再同步到传统数据库,帆软展示,或tableau展示,这块涉及的是离线计算。记录下大数据开发设计的概念:1、hadoop:分布式计算(MapReduce)+分布式文件系统(HDFS),后者可以独立运行,前者可以选择性使用,也可以不使用2、hive:数据仓库,仓库中的数据......
  • k8s使用token访问集群apiserver
    exportTOKEN=eyJhbGciOiJSUzI1NiIsImtpZCI6InRjMEs2b2tyVUFjdHZuazNTS1VrM0s3LWFHMlVjek5NTUJnVUVSTTVHQnMifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJzaGlvcmlrbyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY29......
  • springsession 配置redis集群
    SpringSession配置Redis集群教程1.流程概述在本教程中,我们将详细介绍如何使用SpringSession来配置Redis集群。整个流程可以总结为以下几个步骤:添加SpringSession和Redis依赖配置Redis集群连接信息配置SpringSession使用Redis集群测试SpringSession与Redis集群的连接......
  • springbootredis集群配置
    SpringBootRedis集群配置在分布式系统中,Redis是一个常用的内存数据库,用于缓存和存储数据。Redis集群是多个Redis实例的组合,通过分片和复制技术,提供高可用性和可扩展性。本文将介绍如何在SpringBoot中配置Redis集群,并提供相应的代码示例。1.搭建Redis集群首先,我们需要搭建Red......