首页 > 其他分享 >使用rewriteBatchedStatements属性优化Mybatis-Plus批量插入数据(转)

使用rewriteBatchedStatements属性优化Mybatis-Plus批量插入数据(转)

时间:2024-08-06 10:38:39浏览次数:11  
标签:批量 插入 saveBatch rewriteBatchedStatements Plus 万条 employee Mybatis

原文:https://blog.csdn.net/mcband/article/details/131530297

前言
由于项目是使用MyBatis-Plus开发的,用起来也确实比较方便,尤其是service层封装好的一些通用的增删改查方法,省去了不少sql语句的书写,但是在开发过程中,我也发现MyBatis-Plus的saveBatch批量插入方法针对MySQL数据库可能会出现效率贼低的情况,通过不断查询资料发现可以通过加rewriteBatchedStatements参数来解决(保证5.1.13以上版本)。

一、rewriteBatchedStatements参数介绍

MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL,另外这个选项对INSERT/UPDATE/DELETE都有效

如果你去看源码

会发现,默认的saveBatch方法,是通过for循环一条一条执行了 sqlSession.insert,下面的 consumer 执行的就是上面的 sqlSession.insert:

 然后累计一定数量后,一批 flush。从这点来看,这个 saveBach 的性能肯定比直接一条一条 insert 快。
添加rewriteBatchedStatements=true这个参数后,会进入下面这个方法,对SQL 语句进行rewrite

二、批量添加员工信息测试

1.普通saveBatch批量插入

我们循环1万次,把每个实例员工对象装到员工集合(List)中,然后调用Mybatis-Plus的saveBatch方法,传入List集合,实现批量员工的插入,然后我们在方法开始结束的地方,计算当前函数执行时长。

@PostMapping("/addBath")
@ResponseBody
public ApiResult<Employee> addBath(){
    long startTime = System.currentTimeMillis();
    List<Employee> list = new ArrayList<>();
    // 循环批量添加1万条员工数据
    for (int i = 0; i < 10000; i++) {
        Employee employee = new Employee();
        employee.setName("DT测试"+i);
        employee.setAge(20);
        employee.setSalary(9000D);
        employee.setDepartmentId(i);
        list.add(employee);
    }
    boolean batch = employeeService.saveBatch(list);
    if(batch){
        long endTime = System.currentTimeMillis();
        System.out.println("函数执行时间:" + (endTime - startTime) + "ms");
        return ApiResult.ok();
    }
    return ApiResult.fail();
}

 

为了测试的细致,我多点了几下这个方法,下面是每次记录的时长:

批量添加1万条员工数据,测试结果如下:

第一次:(2秒多)

 第二次:(接近2秒)

 第三次:(接近2秒)

 差不多添加1万条数据在2秒左右,这个时候我们加大量10万条,再测试:

 

批量添加10万条员工数据,测试结果如下:

第一次:(19.341 秒)

 第二次:(18.298 秒)

 

2.设置rewriteBatchedStatements=true批量插入

下面我们为数据库的连接加上rewriteBatchedStatements=true的属性,再测试批量加入的耗时。

批量添加1万条员工数据,测试结果如下:

 对比默认插入:1万条数据:2s -->>> 0.5s

批量添加10万条员工数据,测试结果如下:

 对比默认插入:10万条数据:20s -->>> 5s

总结
所以,通过以上测试我们能发现,加了rewriteBatchedStatements的saveBatch要比默认的saveBatch快好几倍,如果你想验证rewriteBatchedStatements在你的系统里是否已经生效,记得要使用较大的batch,这样才能更明显的看出差距.

标签:批量,插入,saveBatch,rewriteBatchedStatements,Plus,万条,employee,Mybatis
From: https://www.cnblogs.com/ajianbeyourself/p/18344695

相关文章

  • MySQL JDBC连接参数rewriteBatchedStatements(转)
    原文:https://blog.51cto.com/u_16213583/9701812MySQLJdbc驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,直接造成较低的性能。只有把rewriteBatchedStatements参数置为true,驱动才会帮你批量执行。不过,驱动具体是怎......
  • MyBatis 根据数据表反向生成 java 实体类等
    MyBatis根据数据表反向生成java实体类等  1、MyBatis根据已有的数据表生成对应的Java实体类的配置文件:mybatisReverseGeneratorConfig.xml此文件放到项目的根目录下 1<?xmlversion="1.0"encoding="UTF-8"?>2<!DOCTYPEgeneratorConfiguration......
  • MyBatis搭建和增删改查
    MyBatis是一个开源的持久层框架,用于处理数据库的增删改查操作。它能够将Java对象与数据库中的数据进行映射关系的配置,并自动生成对应的SQL语句,从而简化了数据库操作的编码工作。MyBatis的核心思想是将SQL语句与Java代码分离,通过XML或注解来配置SQL语句,使得SQL语句可以进行灵活......
  • Mybatis-Plus(0废话,全程高能)
    --------------------------------------------------------------------------------------------------------------------------------我知道你可能或多或少用过,都点进来了,就大概看一眼呗......
  • 后端MyBatis连接Mysql数据库时常见报错
     目录报错情况报错情况一:​编辑报错情况二:解决步骤一、解决命名问题1.mapper层的id是否和Dao层的方法名字相同2.检查namespace与Dao层的文件地址相同二、解决注解问题1.检查Controller层的注解是否正确和完整2.Dao层或者Mapper层的注解3.pojo层:实体类层Data注解(用......
  • Mybatis一级缓存与二级缓存
    一级缓存与二级缓存概述当mydatis需要关联查询时,会使一条sql语句附加n条关联查询语句,即1+n问题,为了解决这个问题mybatis提供了延迟加载和缓存机制,本节讲缓存机制。当不开启延迟加载时,1+n条sql语句同时发送至数据库,这时n+1条sql语句是在同一个会话当中,一级缓存自动生效,即相同......
  • MyBatis学习笔记第一天
    引言数据持久化是将内存中的数据模型转换为存储模型,以及将存储模型转换为内存中数据模型的统称。例如,文件的存储、数据的读取以及对数据表的增删改查等都是数据持久化操作。MyBatis支持定制化SQL、存储过程以及高级映射,可以在实体类和SQL语句之间建立映射关系,是一种半......
  • Spring Cloud微服务项目集成MyBatis
            在现代软件开发中,微服务架构已经成为一种流行的解决方案,它能够将应用程序拆分成多个小的、独立的服务。每个服务负责一个特定的业务功能,并可以独立部署和扩展。SpringCloud是一个提供各种工具和框架以支持微服务开发的开源框架,而MyBatis是一个流行的持久层......
  • MybatisPlus自带方法报错BindingException: Invalid bound statement (not found)
    问题描述: MybatisPlus自带方法如xxx.list()xxx.save()或则xxMapper.selectList()... 等方法无法使用报错:Invalidboundstatement(notfound) 但是自己定义的sql方法可以使用问题排查: 1、自定义方法可使用排除xml位置不正确,包扫描没扫到(target目录下已生成对应的mapper和xml......
  • mysql分区自动维护(SpringBoot+MybatisPlus)
    1.环境SpringBoot+MybatisPlus+MySQL2.简介通过定时器@Scheduled每日触发,查询当前库中所有分区表(这里以时间段进行分区)判断剩余分区是否小于自定义预留分区(无自定义预留分区则取默认分区配置),若小于预留分区时,自动创建分区至配置分区数判断已有分区是否大于自定义保留分......