Mybatis Plus 批量插入方法效率低问题优化方案 BatchExcutor

1、问题描述

项目用的是Mybatis Plus框架操作数据库，在使用batchSave批量插入方法的时候发现效率极低，插入2w数据花了6分钟，太恐怖了。

看了源码发现，项目的批量插入方法调用的是Mybatis Plus的BatchExcutor，用这个本意是将多次更新sql语句集合为一条更新语句，复用同一个sql连接更新数据。但是打印sql语句发现，实际上仍然是一条一条插入的，只不过是复用同一个prepareStatement而已。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eYdXHEWB-1643113459225)(resource/image-20220124202735365.png)]

2、问题解决

方案一：之所以没有按照预期的拼接sql为一条是因为我们需要在连接数据库的时候设置参数 rewriteBatchedStatements

url: jdbc:mysql://${datasource.host}/${datasource.name}??rewriteBatchedStatements=true

方案二：配置解决的方式太麻烦，在微服务情况下又要改很多地方，所以我采用了第二种方案也是mybatis plus 提供的sql注入器

• 继承框架提供的DefaultSqlInjector,实现自己的sql注入器

@Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
        List<AbstractMethod> methodList = super.getMethodList(mapperClass);
        methodList.add(new InsertBatchSomeColumn());  // 加入批量插入方法
        return methodList;
    }

• InsertBatchSomeColumn 也是框架提供的批量插入方法，一句话来讲就是将我们的多条插入sql拼接成一条sql，这里就不插代码了，当然你也可以自己写一个方法继承AbstractMethod
• 继承BaseMaper，加上sql注入的方法名接口即可使用

public interface InjectionMapper<T> extends BaseMapper<T> {

    Integer insertBatchSomeColumn(Collection<T> entityList);

    int batchSize = 1000;  // 应为mysql对于太长的sql语句是有限制的，所以我这里设置每1000条批量插入拼接sql

    default Integer batchInsert(Collection<T> entityList) {

        int result = 0;
        Collection<T> tempEntityList = new ArrayList<>();
        int i = 0;
        for (T entity : entityList) {
            tempEntityList.add(entity);
            if (i > 0 && (i % batchSize == 0)) {
                result += insertBatchSomeColumn(tempEntityList);
                tempEntityList.clear();
            }
            i++;
        }

        if (ValidateUtil.isNotEmpty(tempEntityList)) {
            result += insertBatchSomeColumn(tempEntityList);
        }
        return result;
    }

}

3、总结

其实两种方法底层都是将sql语句拼接起来，只不过一个是我们手动拼接，一个是mysql帮我们拼接

其实还有一种方式就是在xml中写动态sql，foreach标签拼接，但是太麻烦了不是。而且也是拼接sql的方式

我看网上对于这种方法遇到过一个问题就是主键id自增出错的问题，但是我的id是自己设置的所以没有问题，在这里提个醒

上图是我修改后，插入效率的提升，可以说是指数倍提升吧，有用的话点个赞哦。