• 2024-10-21MongoDB数据备份&导入导出&同步
    mongodump&mongorestore单库备份##-o输出目录mongodump--host127.0.0.1--port27032-uxxx-pxxx--dbtest2--oplog-o./test2全库备份--oplog只能在副本集中使用,因为副本集初始化的时候生成oplog,单实例使用--oplog会报错。mongodump--host127.0.0.1--port
  • 2024-10-19Mongo oplog理解
    转载请注明出处:oplog(操作日志)是MongoDB中用于记录所有写操作的日志。它是一个特殊的集合,存储在副本集的主节点中。oplog用于确保副本集中的副节点与主节点的数据保持一致。当主节点执行写操作时,相应的操作将被记录到oplog中,副节点则通过读取oplog来获取最新的数据变化。数
  • 2024-08-20Mongo主从同步原理
    Mongo主从同步原理是基于复制集(replicateset).复制集是一组mongodb实例,其中一个实例为主节点,其他实例为从节点。主节点负责所有数据写操作,并将写操作的结果复制到从节点。从节点只能读取数据,不能写入数据在mongo中,主节点和从节点之间的数据同步是通过oplog(操作日志)实现的。Oplog
  • 2024-07-10mongodb数据库恢复
    一、从备份中恢复使用mongodump和mongorestoremongodump:MongoDB官方提供的备份工具,可以将MongoDB数据库中的数据导出为BSON格式的文件。通过该工具,可以备份整个数据库、指定的集合或查询的数据。mongorestore:MongoDB官方提供的恢复工具,用于将mongodump导出的BSON文件恢复为Mong
  • 2024-07-07副本集要点
    oplog中的每个操作都是幂等的。也就是说,无论对目标数据集应用一次还是多次,oplog操作都会产生相同的结果。Oplog大小 当您第一次启动副本集成员时,如果您未指定oplog大小,MongoDB将创建默认大小的oplog。默认oplog大小取决于存储引擎:  存储引擎默认Oplog
  • 2024-06-02MongoDb副本集
    Mongodb副本集复制简介复制是将数据的相同副本保留在多台服务器上的一种方法,建议将其用于所有生产部署中。即使一台或多台服务器停止运行,使用复制功能也可以确保应用程序正常运行和数据安全。在MongoDB中,创建副本集(replicaset)后就可以使用复制功能了。副本集是一组服务器,其
  • 2024-05-10mongodb单实例开启oplog
    需求DTS传输同步数据的需求,需要将mongodb里的数据更新、数据增加操作同步给FC函数MongoDB中的Oplog(操作日志)是一个特殊的集合,用于记录数据库的所有操作。Oplog是MongoDB复制集中的一个重要组成部分,它允许从节点通过读取Oplog来实现与主节点的数据同步。所以要把单实例调整成复
  • 2024-04-28mongodb使用备份后的oplog做时间点恢复
    环境:OS:Centos7DB:mongodb5.01.数据库备份/opt/mongodb-database-tools/bin/mongodump-h192.168.56.101:29001-utest-ptest123--authenticationDatabaseadmin--db=db_pushmsg-o/tmp/bak记录下备份的完成时间:2024-04-28T14:39:24.628+0800donedumpingdb_pus
  • 2024-04-28mongodb异机做时间点恢复(基于时间范围查询导出oplog)
    环境:OS:Centos7DB:mongodb5原环境:1主2从,异机恢复的环境:单机(oplog.rs是否开启都可以,开启可以参考:https://www.cnblogs.com/hxlasky/p/17979922) 1.模拟写入数据连接主库模拟写入数据/usr/local/services/mongodb/bin/mongo192.168.56.101:29001useadmindb.auth("
  • 2024-04-26mongodb异机做时间点恢复(异机建议部署免密登录)
    环境:OS:Centos7DB:mongodb5原环境:1主2从,异机恢复的环境:单机(oplog.rs是否开启都可以,开启可以参考:https://www.cnblogs.com/hxlasky/p/17979922) 1.查看当前的表数据情况myrepl:PRIMARY>usedb_pushmsg;switchedtodbdb_pushmsgmyrepl:PRIMARY>showtables;app
  • 2023-12-07MongoDB 备份与恢复
    1.1MongoDB的常用命令mongoexport/mongoimportmongodump/mongorestore有以上两组命令在备份与恢复中进行使用。1.1.1导出工具mongoexportMongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项,也可以根据指
  • 2023-11-16oplog.rs查看
     1.最早和最晚的数据保留情况s1:PRIMARY>db.oplog.rs.find().sort({ts:1}).limit(1){"op":"n","ns":"","o":{"msg":"initiatingset"},"ts":Timestamp(1699409857,1),"
  • 2023-09-20Hadoop集群的NameNode的备份
    Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息如果NameNode挂了,也就意味着整个Hadoop集群也就完了所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点1.在hdfs-site.xml中,配置多个name的dir到不同的磁盘分区上:<property>   <name>dfs.name.
  • 2023-07-14在线修改oplog.rs大小
    环境:OS:Centos7db:4.4.22 1.查看当前的大小myrepl:PRIMARY>db.getReplicationInfo(){"logSizeMB":10000,"usedMB":10013.92,"timeDiff":7801,"timeDiffHours":2.17,"tF
  • 2023-01-23Mongo-Shake介绍(1)
    Mongo-Shake由阿里云Nosql团队开发和维护,是一个基于MongoDB的oplog的通用服务平台。从源mongo数据库中获取oplog,并在目标mongo数据库中重放或通过不同的tunnels发送到其他
  • 2022-11-11【MongoDB】复制集 相关 (bully算法)
    复制集技术相比较传统的Master-Slave模式好处在于多了容错机制。所以MongoDB的复制集技术主要为用户解决了两大问题:第一就是primary节点挂了,其余的secondary节点会自动选举
  • 2022-11-02Mongodb修改oplog大小--笔记
    MongoDB3.6之前oplog修改需要重启实例到非副本单实例模式,3.6开始可以使用命令replSetResizeOplog在线修改副本集成员的oplog大小。修改方式为:先修改从secondary节点开,然后
  • 2022-10-1712.MongoDB系列之副本集管理
    1.控制成员状态1.1把主节点变为从节点rs.stepDown()1.2阻止选举如果需要对主节点维护,不想期间其他从节点选举为主节点,则可以rs.freeze(10000)维护完成后,只需要
  • 2022-10-1610.MongoDB系列之副本集组成
    1.同步复制是指多台服务器保持相同的数据副本。MongoDB通过保存操作日志(oplog)实现复制功能。oplog存在于主节点local数据库中的一个固定集合,包含了主节点执行的每一次
  • 2022-09-28mongo备份/恢复工具mongodump和mongorestore
    mongodump备份oplog https://www.cnblogs.com/easydb/p/14286810.htmlhttps://www.modb.pro/db/152396https://cloud.tencent.com/developer/article/1429385https://b
  • 2022-09-23MongoDB数据库备份(mongodump)以及恢复(mongorestore)工具实践
    摘要mongodump备份工具mongodump能够在Mongodb运行时进行备份,它的工作原理是对运行的Mongodb做查询,然后将所有查到的文档写入磁盘。mongodump的参数与mongoexport的参