XSSFWorkbook转换SXSSFWorkbook对象使用,避免OOM
目前excel的导入导出功能,大部分是基于apache的POI技术,而POI给我们提供了WorkBook接口。
常用的WorkBook接口实现有三种:
HSSFWorkbook:它是早期使用最多的工具,支持Excel2003以前的版本,Excel的扩展名是.xls。只能导出65535条数据,如果超过最大记录条数会报错,但不会出现内存溢出。
XSSFWorkbook:它可以操作Excel2003-Excel2007之间的版本,Excel的扩展名是.xlsx。最多可以导出104w条数据,会创建大量的对象存放到内存中,可能会导致内存溢出。
SXSSFWorkbook:它可以操作Excel2007之后的所有版本,Excel的扩展名是.xlsx。SXSSFWorkbook是streaming版本的XSSFWorkbook,它只会保存最新的rows在内存里供查看,以前的rows都会被写入到硬盘里。用磁盘空间换内存空间,不会导致内存溢出。
引起OOM问题的功能,刚好使用了XSSFWorkbook处理excel,一次性创建了大量的对象。
XSSFWorkbook wb = new XSSFWorkbook(new FileInputStream(file)); XSSFSheet sheet = wb.getSheetAt(0);
既然XSSFWorkbook在导入导出大excel文件时,会导致内存溢出。那么,我们改成SXSSFWorkbook就行
XSSFWorkbook转换SXSSFWorkbook: XSSFWorkbook wb = new XSSFWorkbook(new FileInputStream(file)); SXSSFWorkbook swb = new SXSSFWorkbook(wb,100); SXSSFSheet sheet = (SXSSFSheet) swb.createSheet("sheet1");
使用SXSSFWorkbook将XSSFWorkbook封装了一层,其中100表示excel一次读入内存的最大记录条数,excel中其余的数据将会生成临时文件保存到磁盘上。这个参数,可以根据实际需要调整。
sheet.flushRows();
此外,顺便说一句,在使用WorkBook接口的相关实现类时,用完之后,要记得调用close方法及时关闭,不然也可能会出现OOM问题。
MAT内存分析工具,此外,使用阿里的arthas也可以定位线上OOM问题。
扩展:阿里开源的EasyExcel解决OOM的问题。