思路:
1.从数据库中读,分批次读取
2.多线程去写到一个excel中,
3.网页如何不卡界面的方式,下载文件
界面显示进度条,不影响主界面,下载完成,网站弹出小框口提示
百万级别数据导入导出如何优化?
excel导入导出;
痛点:
1.导入百万级别数据(excel)到DB,有哪些痛点?
1)一次加载百万级别数据到内存,发生OOM!
2)导入百万界别数据存储到DB如果循环一条一条插入,数据库链接不够用
2.导出百万级别数据(DB)到excel,有什么痛点呢?
1)一次性查询百万级别数据到内存,数据库查询超时
2)一次性加载百万级别数据到内存,发生OOM
3)百万级别数据导出到Excel,能写到一个sheet中?,能打开吗?不卡吗?
4)百万级别数据导出到excel中一行一行写入excel,频繁io操作,CPU飙高
3.业务操作高峰期,后台管理员频繁操作导入导出excel,系统很容易因为内存溢出挂掉!
如何解决这些痛点呢?
1.选用合适的excel开源处理框架 阿里的easyexcel
2.百万级别数据导入方案
逐行解析excel数据,分批读取excel数据到list,list达到一定数据量后持久化到DB,同时清空list列表数据
3.百万级别导出方案
分批分页查询DB数据到内存,比如一次查询5000条,分20次分批查询出来
每次加载指定大小的数据到内存,比如每次5000条,5000条批量写入到excel以后,清空当前list,释放内存;
分多个sheet写入,每个sheet比如放20w,100w数据放5个sheet;
每次从数据库批量读取指定大小的数据写入excel
4.解决高峰期导入导出资源瓶颈
从产品方面涉及的时候,引导产品,将导入导出功能设计成异步,尽量不要同步等待,虽然牺牲了一点体验,但是长期看对系统的稳定非常重要;
前端导入导出按钮操作的频率,比如10分钟内不能频繁导入导出
后端导入导出采用MQ异步排队处理,防止内存写爆,CPU打满
采用动态配置开关控制导入导出的数量,通过压测预估系统处理数据的阈值默认配置一个,导入导出超出阈值需要产品或运营发邮件申请,开发修改配置;
如果业务确实有超大数据量请求,超过阈值太多,引导产品或运营分批导入导出解决;
导入导出模块-》记录所有导入导出的进度;
思考:
1.用户操作导出功能,等待过程中,用户关闭了系统,服务器上,这个导出命令会怎么样?
2.
标签:excel,导出,探究,导入,数据,级别,百万 From: https://www.cnblogs.com/hcy-zyy/p/18185379