近期,有人反馈其mongodb分片集群,在加载处理大批量数据时,程序处理十分缓慢并且应用还会报错:version mismatch detected for 。现将分析汇总如下备用。
一、问题现象
负责同事反馈9月1日18:52分左右,应用报错version mismatch detected for。
二、问题分析
--mongodb为4.2.15的三分片集群且集群均衡器为启用状态
--观察集群报错前后的mongod日志发现,9月1号18:48分集群在频繁的moveChunk
--集群在频繁的moveChunk消耗的时间比较长
--9月1日18:55分mongod日志才提示end of migration,应用报错集群正在moveChunk操作
由以上日志可知,是应用大批量加载数据,导致集群均衡器分裂chunk并执行迁移,磁盘IO性能低下不能支持mongod快速数据迁移和metadata刷新,引起应用查询不到最新的数据而报错。
三、问题处理
a、提高磁盘性能,更换SSD盘
b、业务高峰期临时关闭集群均衡器
通过Mongo Shell连接MongoDB分片集群实例
在mongos节点命令窗口中,切换至 config 数据库
use config;
执行如下命令查看Balancer运行状态,如返回值为空则均衡器空闲
while( sh.isBalancerRunning() ) {
print("waiting...");
sleep(1000);
}
确认执行命令后返回的值为空,可执行关闭Balancer命令
sh.stopBalancer()
c、临时处理方法刷新路由器(业务高峰期有风险)
use config;
db.adminCommand({_flushRoutingTableCacheUpdates: ns, syncFromConfig: true})