刚开始使用分页的方式同步数据,id asc
到2000多万条之后,效率慢了。
总结:分页到最后,会越来越慢
通过请教大石头大佬,进行了优化
大数据同步,一般不用分页的方式,XCode里面是把分页抽取器放在最后的。每次抽取后,下一次用 where id>lastMaxId。
你可以参考XCode里面的集中抽取器,最好用的是雪花id抽取,其次时间,最后分页
采用这样的方式同步
select top 1000 * from Data
where id > 40934063
order by Id asc
Data表是历时数据表,不是业务中使用的真实的表。
总结:分页获取1000条,时间20秒左右,采用雪花id获取10 0000条,2.3秒
2.3太慢了,应该在100ms以内。10万叶大小太大,用一万或者五千
标签:抽取,XCode,分页,数据库,同步,2.3,id From: https://www.cnblogs.com/gzy2016Blog/p/17664595.html