• 2024-06-02MongoDb副本集
    Mongodb副本集复制简介复制是将数据的相同副本保留在多台服务器上的一种方法,建议将其用于所有生产部署中。即使一台或多台服务器停止运行,使用复制功能也可以确保应用程序正常运行和数据安全。在MongoDB中,创建副本集(replicaset)后就可以使用复制功能了。副本集是一组服务器,其
  • 2024-05-10mongodb单实例开启oplog
    需求DTS传输同步数据的需求,需要将mongodb里的数据更新、数据增加操作同步给FC函数MongoDB中的Oplog(操作日志)是一个特殊的集合,用于记录数据库的所有操作。Oplog是MongoDB复制集中的一个重要组成部分,它允许从节点通过读取Oplog来实现与主节点的数据同步。所以要把单实例调整成复
  • 2024-04-28mongodb使用备份后的oplog做时间点恢复
    环境:OS:Centos7DB:mongodb5.01.数据库备份/opt/mongodb-database-tools/bin/mongodump-h192.168.56.101:29001-utest-ptest123--authenticationDatabaseadmin--db=db_pushmsg-o/tmp/bak记录下备份的完成时间:2024-04-28T14:39:24.628+0800donedumpingdb_pus
  • 2024-04-28mongodb异机做时间点恢复(基于时间范围查询导出oplog)
    环境:OS:Centos7DB:mongodb5原环境:1主2从,异机恢复的环境:单机(oplog.rs是否开启都可以,开启可以参考:https://www.cnblogs.com/hxlasky/p/17979922) 1.模拟写入数据连接主库模拟写入数据/usr/local/services/mongodb/bin/mongo192.168.56.101:29001useadmindb.auth("
  • 2024-04-26mongodb异机做时间点恢复(异机建议部署免密登录)
    环境:OS:Centos7DB:mongodb5原环境:1主2从,异机恢复的环境:单机(oplog.rs是否开启都可以,开启可以参考:https://www.cnblogs.com/hxlasky/p/17979922) 1.查看当前的表数据情况myrepl:PRIMARY>usedb_pushmsg;switchedtodbdb_pushmsgmyrepl:PRIMARY>showtables;app
  • 2023-12-07MongoDB 备份与恢复
    1.1MongoDB的常用命令mongoexport/mongoimportmongodump/mongorestore有以上两组命令在备份与恢复中进行使用。1.1.1导出工具mongoexportMongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项,也可以根据指
  • 2023-11-16oplog.rs查看
     1.最早和最晚的数据保留情况s1:PRIMARY>db.oplog.rs.find().sort({ts:1}).limit(1){"op":"n","ns":"","o":{"msg":"initiatingset"},"ts":Timestamp(1699409857,1),"
  • 2023-09-20Hadoop集群的NameNode的备份
    Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息如果NameNode挂了,也就意味着整个Hadoop集群也就完了所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点1.在hdfs-site.xml中,配置多个name的dir到不同的磁盘分区上:<property>   <name>dfs.name.
  • 2023-07-14在线修改oplog.rs大小
    环境:OS:Centos7db:4.4.22 1.查看当前的大小myrepl:PRIMARY>db.getReplicationInfo(){"logSizeMB":10000,"usedMB":10013.92,"timeDiff":7801,"timeDiffHours":2.17,"tF
  • 2023-01-23Mongo-Shake介绍(1)
    Mongo-Shake由阿里云Nosql团队开发和维护,是一个基于MongoDB的oplog的通用服务平台。从源mongo数据库中获取oplog,并在目标mongo数据库中重放或通过不同的tunnels发送到其他
  • 2022-11-11【MongoDB】复制集 相关 (bully算法)
    复制集技术相比较传统的Master-Slave模式好处在于多了容错机制。所以MongoDB的复制集技术主要为用户解决了两大问题:第一就是primary节点挂了,其余的secondary节点会自动选举
  • 2022-11-02Mongodb修改oplog大小--笔记
    MongoDB3.6之前oplog修改需要重启实例到非副本单实例模式,3.6开始可以使用命令replSetResizeOplog在线修改副本集成员的oplog大小。修改方式为:先修改从secondary节点开,然后
  • 2022-10-1712.MongoDB系列之副本集管理
    1.控制成员状态1.1把主节点变为从节点rs.stepDown()1.2阻止选举如果需要对主节点维护,不想期间其他从节点选举为主节点,则可以rs.freeze(10000)维护完成后,只需要
  • 2022-10-1610.MongoDB系列之副本集组成
    1.同步复制是指多台服务器保持相同的数据副本。MongoDB通过保存操作日志(oplog)实现复制功能。oplog存在于主节点local数据库中的一个固定集合,包含了主节点执行的每一次
  • 2022-09-28mongo备份/恢复工具mongodump和mongorestore
    mongodump备份oplog https://www.cnblogs.com/easydb/p/14286810.htmlhttps://www.modb.pro/db/152396https://cloud.tencent.com/developer/article/1429385https://b
  • 2022-09-23MongoDB数据库备份(mongodump)以及恢复(mongorestore)工具实践
    摘要mongodump备份工具mongodump能够在Mongodb运行时进行备份,它的工作原理是对运行的Mongodb做查询,然后将所有查到的文档写入磁盘。mongodump的参数与mongoexport的参