首页 > 其他分享 >【开源项目】震惊JDBC查询比MyBatis查询慢

【开源项目】震惊JDBC查询比MyBatis查询慢

时间:2022-12-08 16:55:08浏览次数:45  
标签:JDBC 350w 5000 books MyBatis 查询 3000000 id SELECT

震惊JDBC查询比MyBatis查询快?

文章编写起始原因,在编写项目的时候碰到一个深坑,JDBC获取5000条数据,居然耗时261s,MyBatis同样的操作,耗时12s左右,震惊。看到这里下巴都快掉下来了。不是网上都说MyBatis就是封装了的JDBC吗?不是都说JDBC比MyBatis快很多很多吗?为啥这里却别这么大?

先上图,看看查询的具体情况吧
请添加图片描述

具体的代码如下:

private List<String> selectTransferData() {
    List<String> list = new ArrayList<>();
    ResultSet rs;
    Statement stmt;
    Connection newConn;
    try {
        newConn = druidDataSource.getConnection();
        stmt = newConn.createStatement();
        stmt.setFetchSize(Integer.MIN_VALUE);
        rs = stmt.executeQuery(sql);
    } catch (SQLException e) {
        logger.error("traceId: {}, mysql executeQuery error!!! error msg: {}", traceId, e.getMessage());
        throw new DataMigrationException(DataMigrationConstant.MYSQL_EXECUTE_QUERY_ERROR);
    }
    String[] cloumnSplit = transferInsertConfig.getTableCloumnName().split(",");
    try {
        while (rs.next()) {
            StringBuilder data = new StringBuilder("(");
            for (int i = 0; i < cloumnSplit.length; i++) {
                String cloumnName = cloumnSplit[i].replaceAll(" ", "");
                String string = rs.getString(cloumnName);
                data.append(string).append(", ");
            }
            String dataStr = data.substring(0, data.length() - 2) + ")\r\n";
            list.add(dataStr);
        }
    } catch (Exception e) {
        logger.error("traceId: {}, 获取查询结果集异常!!! error msg: {}", traceId, e.getMessage());
        throw new DataMigrationException("获取查询结果集异常, 异常信息:" + e.getMessage());
    } finally {
        try {
            if (rs != null) {
                rs.close();
            }
            if (stmt != null) {
                stmt.close();
            }
            if (newConn != null) {
                newConn.close();
            }
        } catch (Exception e) {
            logger.error("traceId: {}, close io error!!! error msg: {}", traceId, e.getMessage());
        }
    }
    return list;
}

代码里面执行的SQL如下:

SELECT * FROM books WHERE id > 3000000 LIMIT offset, length;
-- offset: 150000 start
-- length: 5000

由于代码执行过慢,这里对代码进行了添加日志观察,看看到底慢在了哪里。根据网上查询的资料来看,应该就是慢在了SQL,实际跟踪下来的结果如下:

关键代码 执行时间 预期结果 实际结果 备注
newConn = druidDataSource.getConnection(); 30ms 很快 符合预期结果
rs = stmt.executeQuery(sql); 12.6s 可以接收的慢 不符合260s的预期
while (rs.next()) { ... } 252s 超出预料了

根据这个结果,又在网上找了很久,基本总结下来就就是SQL慢,rs.next()慢是错觉。然后博主又做了10组sql的查询结果如下:

SQL 执行时间 表数据量
SELECT * FROM books WHERE id > 3000000 LIMIT 300000, 5000 12.576s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 305000, 5000 12.879s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 310000, 5000 15.952s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 315000, 5000 15.541s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 320000, 5000 13.110s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 325000, 5000 12.691 > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 330000, 5000 16.411s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 335000, 5000 11.809s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 340000, 5000 9.461s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 345000, 5000 10.374s > 350w

直接执行SQL和上面日志跟踪到的执行时间出入不大,于是准备使用mybaits来看测试看看,测试代码如下

IntStream.range(1, 11).forEach(it -> {
    long l = System.currentTimeMillis();
    booksMapper.getLimit(it * 5000 + 300000);
    long l1 = System.currentTimeMillis();
    System.out.println("耗时:" + (l1 - l) / 1000 + "s");
});

List<Books> getLimit(int offset);

<select id="getLimit" resultMap="BaseResultMap" parameterType="int">
    SELECT * FROM books WHERE id > 3000000 limit #{offset}, 5000
</select>

执行结果如下:

SQL 执行时间 表数据量
SELECT * FROM books WHERE id > 3000000 LIMIT 305000, 5000 10.301s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 310000, 5000 11.130s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 315000, 5000 12.417s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 320000, 5000 13.588s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 325000, 5000 13.810s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 330000, 5000 13.968s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 335000, 5000 18.056s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 340000, 5000 11.202s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 345000, 5000 18.017s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 350000, 5000 16.619s > 350w

看到这里的时候跟JDBC对比,发现如果仅仅只是SQL执行跟MyBatis比较,真的没有很大出入。但是MyBatis其实不仅查询了数据,而且还做了数据的封装并且返回。JDBC这里也是做了封装的,为啥差别这么大。真的是代码问题吗?好像结果已经不言而喻了。博主还是不太敢相信,决定在调整一下代码,调整代码如下:

while (rs.next()) {
    // 删除了处理逻辑,这样就不会是封装返回值影响了
}

实际调用结果如下:

执行第几次 执行时间 表数据量
1 200s > 350w
2 180s > 350w
3 165s > 350w
4 185s > 350w
5 193s > 350w
6 184s > 350w
7 178s > 350w
8 162s > 350w
9 180s > 350w
10 191s > 350w

这是不是已经铁的事实,就是拼接问题?不见得吧。比较下来,拼接问题看来并不是很大。耗时还是再rs.next上。

rs.next()的实现就是光标的移动,光标的移动仅仅只是位置的偏移而已,并不产生很多的消耗。这个时候只能提出假设了,假设rs.next并不仅仅是走了光标而且还在数据库内做了什么,并且与我们的SQL有关,那我们SQL本身很慢的话,那这种现状就有解释。于是对SQL调整,调整如下:

SELECT * FROM books a INNER JOIN( SELECT * FROM books WHERE id > 3000000 LIMIT 255000, 5000 ) b ON a.id = b.id

先SQL执行测试10组试试:
执行结果如下:

SQL 执行时间 表数据量
SELECT * FROM books WHERE id > 3000000 LIMIT 305000, 5000 4.662s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 310000, 5000 4.966s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 315000, 5000 4.407s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 320000, 5000 4.276s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 325000, 5000 4.199s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 330000, 5000 4.422s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 335000, 5000 4.282s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 340000, 5000 3.819s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 345000, 5000 3.813s > 350w
SELECT * FROM books WHERE id > 3000000 LIMIT 350000, 5000 3.666s > 350w

看起来快了比之前SQL执行快了两倍还要多。不过这里有个问题,我们执行SQL的时候,如果是在客户端里面执行的,他会自动限定查询的返回结果,比如:固定显示200条,其实就是limit 200,这个条件导致我们测试不是那么的准。所以还是继续走程序

先将之前的代码恢复到最开始的状态,然后用这个调整的SQL走10组试试

执行第几次 执行时间 表数据量
1 629.969s > 350w
2 607.075s > 350w
3 660.476s > 350w
4 653.261s > 350w
5 679.521s > 350w
6 611.962s > 350w
7 598.981s > 350w
8 604.788s > 350w
9 651.673s > 350w
10 650.522s > 350w

事实证明,就是优化的SQL在客户端执行看似有用,实际程序内运行,慢了3倍。

JDBC查询比MyBatis慢在哪里?

真的是rs.next吗?

------------------------------------> 待续

标签:JDBC,350w,5000,books,MyBatis,查询,3000000,id,SELECT
From: https://www.cnblogs.com/xlecho/p/16966565.html

相关文章