首页 > 数据库 >MongoDB 分片集群均衡器导致的性能下降

MongoDB 分片集群均衡器导致的性能下降

时间:2022-10-31 21:34:41浏览次数:55  
标签:moveChunk -- MongoDB 均衡器 报错 分片 集群 config

        近期,有人反馈其mongodb分片集群,在加载处理大批量数据时,程序处理十分缓慢并且应用还会报错:version mismatch detected for 。现将分析汇总如下备用。

        一、问题现象

负责同事反馈9月1日18:52分左右,应用报错version mismatch detected for。

二、问题分析

​--mongodb为4.2.15的三分片集群且集群均衡器为启用状态

MongoDB 分片集群均衡器导致的性能下降_数据

--观察集群报错前后的mongod日志发现,9月1号18:48分集群在频繁的moveChunk

MongoDB 分片集群均衡器导致的性能下降_均衡器_02

--集群在频繁的moveChunk消耗的时间比较长

MongoDB 分片集群均衡器导致的性能下降_数据_03

--9月1日18:55分mongod日志才提示end of migration,应用报错集群正在moveChunk操作

MongoDB 分片集群均衡器导致的性能下降_均衡器_04

由以上日志可知,是应用大批量加载数据,导致集群均衡器分裂chunk并执行迁移,磁盘IO性能低下不能支持mongod快速数据迁移和metadata刷新,引起应用查询不到最新的数据而报错。

三、问题处理

​a、提高磁盘性能,更换SSD盘

b、业务高峰期临时关闭集群均衡器

     ​​  通过Mongo Shell连接MongoDB分片集群实例​

        在mongos节点命令窗口中,切换至 config 数据库

        use config;

        执行如下命令查看Balancer运行状态,如返回值为空则均衡器空闲

        while( sh.isBalancerRunning() ) {

         print("waiting...");

           sleep(1000);

         }

       确认执行命令后返回的值为空,可执行关闭Balancer命令

       sh.stopBalancer()

       c、临时处理方法刷新路由器(业务高峰期有风险)

        use config;

        db.adminCommand({_flushRoutingTableCacheUpdates: ns, syncFromConfig: true})



标签:moveChunk,--,MongoDB,均衡器,报错,分片,集群,config
From: https://blog.51cto.com/u_3557740/5811301

相关文章

  • mongodb主要使用规则
    mongodb:ObjectId的结构:_id是集合中文档的主键,用于区分文档(记录),_id自动编入索引。默认情况下,_id字段的类型为ObjectID,是MongoDB的BSON类型之一。如果需要,用户......
  • ubuntu docker 安装指定版本 MongoDB 并配置用户密码
    ubuntudocker安装指定版本MongoDB并配置用户密码​​初​​​​查看安装的镜像​​​​运行容器​​​​检查运行​​​​进入数据库​​​​创建用户和密码​​​​创......
  • NoSQL之MongoDB从入门到基础
    简介Mongo的BSON数据格式非常适合文档化格式的存储及查询。与传统的RMDB相比SQLTerms/ConceptsMongoDBTerms/Conceptsdatabasedatabasetableconnectionrowbsondocumen......
  • 安装MongoDB及启动服务
    安装MongoDB----安装  ----配置环境变量:默认安装目录:C:\ProgramFiles\MongoDB\Server\3.6\bin 直接添加到path中即可。;号隔开。----在C盘根目录--创建一个文......
  • MongoDB--常用语句
    1、插入单条数据db.students.insertOne({name:'Jane',age:21})2、插入多条数据db.students.insertMany([{name:'Kang',age:22},{name:'Mike',age:19}])3、删除单条数......
  • MongoDB - 数据查询(消除重复)
    方法distinct()对数据进行去重语法:db.集合名称.distinct('去重字段',{条件}) 例1:查找年龄大于18的性别(去重)db.stu.distinct('gender',{age:{$gt:......
  • js-webuploader+js如何实现分片+断点续传
    ​ 我们平时经常做的是上传文件,上传文件夹与上传文件类似,但也有一些不同之处,这次做了上传文件夹就记录下以备后用。首先我们需要了解的是上传文件三要素:1.表单提交方式......
  • csharp-webuploader+csharp如何实现分片+断点续传
    ​文件夹数据库处理逻辑public class DbFolder{    JSONObjectroot;       public DbFolder()    {        this.root= new JSONOb......
  • c#-webuploader+c#如何实现分片+断点续传
    ​以ASP.NETCoreWebAPI 作后端 API ,用 Vue 构建前端页面,用 Axios 从前端访问后端 API,包括文件的上传和下载。 准备文件上传的API #region 文件上传 ......
  • mongodb 终端自己常用命令
    查询db.queues.find().pretty();更改更改多列db.queues.update({},{$set:{pj:100}},{multi:true});//一定要加上multi:true才会生效https://www.cnblogs.com/......