首页 > 数据库 >批处理和数据库连接池

批处理和数据库连接池

时间：2023-05-28 15:03:55浏览次数：48  
标签：java 批处理 数据库 sql import com 连接池

1. 批处理  838

1.1 基本介绍

1. 当需要成批插入或者更新记录时。可以采用Java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率。

2. JDBC的批量处理语句包括 下面方法:

addBatch():添加需要批量处理的SQL语句或参数

executeBatch():执行批量处理语句;

clearBatch():清空批处理包的语句

3. JDBC连接MySQL时， 如果要使用批处理功能，请再url中加

参数?rewriteBatchedStatements= true

4.批处理往往和PreparedStatement一起搭配使用，可以既减少编译次数，又减少运行次数，效率大大提高

1.2 应用实例   838

1.演示向admin2表中添加5000条数据，看看使用批处理耗时多久

2.注意:需要修改配置文件jdbc.properties

url =jdbc:mysql://localhost:3306/数据库?rewriteBatchedStatements=true

批处理和数据库连接池_批处理


批处理和数据库连接池_批处理_02

代码在com.stulzl.batch_.

Batch_
package com.stulzl.batch_;


import com.stulzl.utils.JDBCUtils;
import org.junit.jupiter.api.Test;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

//演示Java的批处理
public class Batch_ {

    //传统方法，添加5000条数据到admin2
    @Test
    public void noBatch() throws Exception {
        Connection connection = JDBCUtils.getConnection();
        String sql = "insert into admin2 values(null,?,?)";
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
        System.out.println("开始执行");
        long start = System.currentTimeMillis();//开始时间
        for (int i = 0; i < 5000; i++) {
            preparedStatement.setString(1,"jack"+i);
            preparedStatement.setString(2,"666");
            preparedStatement.executeUpdate();
        }
        long end = System.currentTimeMillis();//结束时间

        System.out.println("传统方式="+(end-start));//传统方式=4654
        //关闭连接
        JDBCUtils.close(null,preparedStatement,connection);
    }

    //使用批量添加方式
    @Test
    public void Batch() throws Exception {
        Connection connection = JDBCUtils.getConnection();
        String sql = "insert into admin2 values(null,?,?)";
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
        System.out.println("开始执行");
        long start = System.currentTimeMillis();//开始时间
        for (int i = 0; i < 5000; i++) {
            preparedStatement.setString(1,"jack"+i);
            preparedStatement.setString(2,"666");
            //将sql语句加入到批处理包中
            preparedStatement.addBatch();
            //当有1000记录时，再批量处理
            if((i+1)%1000==0){//满1000条sql语句
                preparedStatement.executeBatch();
                preparedStatement.clearBatch();//清空一把
            }
        }
        long end = System.currentTimeMillis();//结束时间

        System.out.println("批量方式="+(end-start));//批量方式=76
        //关闭连接
        JDBCUtils.close(null,preparedStatement,connection);
    }
}
代码在E:\java学习\初级\course171\db_
batch_
-- 批量处理  838
CREATE TABLE admin2
	(id INT PRIMARY KEY AUTO_INCREMENT,
	username VARCHAR(32) NOT NULL,
	PASSWORD VARCHAR(32) NOT NULL);
SELECT * FROM admin2 
DROP TABLE admin2

2. 数据库连接池  840

2.1   传统方法 5k 次连接数据库问题

1. 编写程序完成连接MySQL 5000次的操作

2. 看看有什么问题，耗时又是多久. =>数据库连接池

代码在com.stulzl.datasource_

ConQuestion
package com.stulzl.datasource_;

import com.stulzl.utils.JDBCUtils;
import org.junit.jupiter.api.Test;

import java.sql.Connection;

//连接池问题引入   840
public class ConQuestion {
    //代码连接数据库5000次
    @Test
    //看看连接-关闭 connection 会耗用多
    public void testCon(){
        long start = System.currentTimeMillis();
        System.out.println("开始连接.....");
        for (int i=0;i<5000;i++) {
            //使用传统的 jdbc 方式，得到连接
            Connection connection = JDBCUtils.getConnection();
            //做一些工作，比如得到 PreparedStatement ，发送 sql
            //..........
            // 关闭
            JDBCUtils.close(null, null, connection);
        }
        long end = System.currentTimeMillis();
        System.out.println("传统方式 5000 次 耗时=" + (end - start));//传统方式 5000 次 耗时=9620
    }
}

2.2 传统获取 Connection 问题分析  840

1. 传统的JDBC数据库连接使用DriverManager来获取，每次向数据库建立连接的时候都要将Connection加载到内存中，再验证IP地址，用户名和密码(0.05s ~ 1s时间)。需要数据库连接的时候，就向数据库要求一个，频繁的进行数据库连接操作将占用很多的系统资源，容易造成服务器崩溃。

2.每一次数据库连接，使用完后都得断开，如果程序出现异常而未能关闭，将导致数据库内存泄漏，最终将导致重启数据库。

3. 传统获取连接的方式，不能控制创建的连接数量，如连接过多，也可能导致内存泄漏，MySQL崩溃。

4.解决传统开发中的数据库连接问题，可以采用数据库连接池技术(connection pool)。

2.3 数据库连接池基本介绍   841

1. 预先在缓冲池中放入定数量的连接，当需要建立数据库连接时，只需从“缓冲池"中取出一个，使用完毕之后再放回去。

2.数据库连接池负责分配、 管理和释放数据库连接，它允许应用程序重复使用个现有的数据库连接，而不是重新建立一个。

3.当应用程序向连接池请求的连接数超过最大连接数量时，这些请求将被加入到等待队列中

批处理和数据库连接池_批处理_03

批处理和数据库连接池_批处理_04

2.4 数据库连接池种类   841

1. JDBC的数据库连接池使用javax.sql.DataSource来表示，DataSource只是一个接口，该接口通常由第三方提供实现[提供jar]

2.C3P0数据库连接池，速度相对较慢，稳定性不错(hibernate, spring)

3.DBCP数据库连接池，速度相对c3p0较快，但不稳定

4.Proxool数据库连接池，有监控连接池状态的功能，稳定性较c3p0差一点BoneCP数据库连接池，速度快

6.Druid(德鲁伊)是阿里提供的数据库连接池，集DBCP、C3P0、 Proxool优点于一身的数据库连接池

2.5 C3P0 应用实例 5000次连接数据库  842-843

使用代码实现c3p0数据库连接池，配置文件放src目录C3P0 java

代码在com.stulzl.c3p0_

C3P0_
package com.stulzl.c3p0_;

import com.mchange.v2.c3p0.ComboPooledDataSource;
import org.junit.jupiter.api.Test;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.sql.Connection;
import java.sql.SQLException;
import java.util.Properties;

//演示c3p0的使用   842-843
public class C3P0_ {
//先放入jar包
    //方式 1： 相关参数，在程序中指定 user, url , password 等
    @Test
    public void testC3P0_01() throws Exception {
        //1.创建一个数据源对象
        ComboPooledDataSource comboPooledDataSource = new ComboPooledDataSource();
        //2. 通过配置文件获取相关的信息
        Properties properties = new Properties();
        properties.load(new FileInputStream("src\\mysql.properties"));
        //读取相关的属性数据
        String user = properties.getProperty("user");
        String password = properties.getProperty("password");
        String url = properties.getProperty("url");
        String driver = properties.getProperty("driver");
        //给数据源comboPooledDataSource 设置相关的参数
        //注意：连接管理是由 comboPooledDataSource 来管理
        comboPooledDataSource.setDriverClass(driver);
        comboPooledDataSource.setJdbcUrl(url);
        comboPooledDataSource.setUser(user);
        comboPooledDataSource.setPassword(password);

        //设置初始化连接数
        comboPooledDataSource.setInitialPoolSize(10);
        //设置最大连接数
        comboPooledDataSource.setMaxPoolSize(50);
        //测试连接池的效率, 测试对 mysql 5000 次操作
        long start = System.currentTimeMillis();
        for(int i=0;i<5000;i++){
            //这个方法就是从 DataSource 接口实现的
            Connection connection = comboPooledDataSource.getConnection();
            //System.out.println("连接成功");
            //关闭
            connection.close();
        }
        long end = System.currentTimeMillis();
        System.out.println("c3p0 5000次连接耗时="+(end-start));//c3p0 5000次连接耗时=336
    }

    //方式二使用配置文件模板来完成   843
    //1. 将 c3p0 提供的 c3p0.config.xml 拷贝到 src 目录下
    //2. 该文件指定了连接数据库和连接池的相关参数
    @Test
    public void testC3P0_02() throws SQLException {
        ComboPooledDataSource comboPooledDataSource = new ComboPooledDataSource("hsp_edu");
        //测试连接池的效率, 测试对 mysql 5000 次操作
        long start = System.currentTimeMillis();
        for(int i=0;i<500000;i++) {
            Connection connection = comboPooledDataSource.getConnection();
            //System.out.println("连接成功~");
            connection.close();
        }
        long end = System.currentTimeMillis();
        System.out.println("c3p0 第二种500000次连接耗时="+(end-start));//c3p0 第二种500000次连接耗时=1630
    }
}
配置文件c3p0-config.xml
<c3p0-config>
    <!-- 数据源名称代表连接池 -->
  <named-config name="hsp_edu">
<!-- 驱动类 -->
  <property name="driverClass">com.mysql.jdbc.Driver</property>
  <!-- url-->
  	<property name="jdbcUrl">jdbc:mysql://127.0.0.1:3306/hsp_db02</property>
  <!-- 用户名 -->
  		<property name="user">root</property>
  		<!-- 密码 -->
  	<property name="password">lzl</property>
  	<!-- 每次增长的连接数-->
    <property name="acquireIncrement">5</property>
    <!-- 初始的连接数 -->
    <property name="initialPoolSize">10</property>
    <!-- 最小连接数 -->
    <property name="minPoolSize">5</property>
   <!-- 最大连接数 -->
    <property name="maxPoolSize">50</property>

	<!-- 可连接的最多的命令对象数 -->
    <property name="maxStatements">5</property> 
    
    <!-- 每个连接对象可连接的最多的命令对象数 -->
    <property name="maxStatementsPerConnection">2</property>
  </named-config>
</c3p0-config>

3. Druid(德鲁伊)   844

3.1 应用实例  844

使用代码实现Druid(德鲁伊)数据库连接池

代码在com.stulzl.druid_

Druid_

package com.stulzl.druid_;

import com.alibaba.druid.pool.DruidDataSourceFactory;
import org.junit.jupiter.api.Test;

import javax.sql.DataSource;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.sql.Connection;
import java.util.Properties;

//演示的Druid的使用  844
public class Druid_ {
    @Test
    public void testDruid() throws Exception {
        //1. 加入 Druid jar 包
        //2. 加入 配置文件 druid.properties , 将该文件拷贝项目的 src 目录
        //3. 创建 Properties 对象, 读取配置文件
        Properties properties = new Properties();
        properties.load(new FileInputStream("src\\druid.properties"));

        //4. 创建一个指定参数的数据库连接池，Druid连接池
        DataSource dataSource = DruidDataSourceFactory.createDataSource(properties);
        long start = System.currentTimeMillis();
        for (int i = 0; i < 500000; i++) {
            Connection connection = dataSource.getConnection();
            //System.out.println("连接成功！");
            connection.close();
        }
        long end = System.currentTimeMillis();
        System.out.println("druid连接池500000操作耗时="+(end-start));//druid连接池500000操作耗时=410
    }

}

配置文件druid.properties

#key=value
driverClassName=com.mysql.jdbc.Driver
url=jdbc:mysql://localhost:3306/hsp_db02?rewriteBatchedStatements=true
username=root
password=lzl
#initial connection Size
initialSize=10
#min idle connecton size
minIdle=5
#max active connection size
maxActive=50
#max wait time (5000 mil seconds)
maxWait=5000

3.2 将 JDBCUtils 工具类改成 Druid(德鲁伊)实现  845

通过德鲁伊数据库连接池获取连接对象

可以简单的演示下使用

代码在com.stulzl.jdbcutils_druid;

JDBCUtils_Druid 

package com.stulzl.jdbcutils_druid;

import com.alibaba.druid.pool.DruidDataSourceFactory;

import javax.sql.DataSource;
import java.io.FileInputStream;
import java.io.IOException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;

//这是一个基于druid的数据库连接池的工具类  845
//将 JDBCUtils 工具类改成 Druid(德鲁伊)实现
public class JDBCUtils_Druid {
    private static DataSource ds;

    //在静态代码块完成ds的初始化
    static{
        Properties properties = new Properties();
        try {
            properties.load(new FileInputStream("src\\druid.properties"));
            ds = DruidDataSourceFactory.createDataSource(properties);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    //编写getConnection方法
    public static Connection getConnection() throws SQLException {
        return ds.getConnection();
    }
    //关闭连接, 再次强调： 在数据库连接池技术中，close 不是真的断掉连接
    //而是把使用的 Connection 对象放回连接池
    public static void close(ResultSet resultSet, Statement statement, Connection connection){
        try {
            if (resultSet != null) {
                resultSet.close();
            }
            if (statement != null) {
                statement.close();
            }
            if (connection != null) {
                connection.close();
            }
        } catch (SQLException e) {
            throw new RuntimeException(e);
        }
    }
}

测试类JDBCUtils_Druid_USE

package com.stulzl.jdbcutils_druid;

import com.stulzl.utils.JDBCUtils;
import org.junit.jupiter.api.Test;

import java.sql.*;

//测试基于druid的数据库连接池的工具类  845
public class JDBCUtils_Druid_USE {
    @Test
    public void testSelect(){

        System.out.println("使用druid工具类方式完成");

        //1.得到连接
        Connection connection = null;
        //2.组织一个sql语句
        String sql = "select * from actor where id=?";
        PreparedStatement preparedStatement=null;
        ResultSet set = null;
        try {
            connection = JDBCUtils_Druid.getConnection();
            //3.创建preparedStatement对象
            preparedStatement = connection.prepareStatement(sql);

            //4. 给占位符赋值
            preparedStatement.setInt(1,2);

            //执行,得到结果集
            set = preparedStatement.executeQuery();

            //遍历该结果集
            while(set.next()){
                int id = set.getInt("id");//这里提示("id")可以直接写，也可以写数字(按对应顺序)
                String name = set.getString("name");
                String sex = set.getString("sex");
                Date borndate = set.getDate("borndate");
                String phone = set.getString("phone");
                System.out.println(id + "\t" + name + "\t" + sex
                        + "\t" + borndate + "\t" + phone);
            }

        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            //关闭资源
            JDBCUtils_Druid.close(set,preparedStatement,connection);
        }
    }
}

标签：java,批处理,数据库,sql,import,com,连接池
From： https://blog.51cto.com/u_15784725/6365073

相关文章

  • 数据库课程设计报告
    一、概述1.   项目背景学生成绩管理系统是学校管理的重要工具，是学校不可或缺的一部分。随着在校人数的不断增加，教务系统的数量也不断的上涨。学校工作繁杂，资料众多，人工管理信息的难度也越来越大，显然是不能满足实际的需要，效率也是很低的。并且这种传统的方式存在着众多的弊端......
  • django_ORM_数据库取值
    #查询方法1：直接查询models.Info_Phone.objects.filter(mobile="157137632",id=2)#查询方法2：把查询条件放在字典里面data_list={"mobile":"157137632","id":2}models.Info_Phone.objects.filter(**data_l......
  • HCIP学习笔记-数据库服务规划-5
    1.数据库服务概览1.1数据库发展趋势数据规模爆炸式增长，数据应用模式不断丰富。云计算大规模应用，传统业务模式发生转变。1.2云数据库优势相比传统数据库，云数据库一般具有以下有点易用性:云数据库一般也是作为一个云服务提供，与其他云服务一样，可以快速部署和运行，同时一般还可以免......
  • 数据库保护
    在数据库领域中，事务（Transaction）是指由一个或多个操作组成的不可分割的工作单元。事务必须满足ACID原则，即原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）和持久性（Durability）。原子性（Atomicity）事务被视为原子的，这意味着它是不可分割的。如果事务包含多个操作，那么其中任何......
  • 数据库系统结构
    数据指的是描述现实世界中事物和事件的符号化表现形式，可以是文字、数字、图像、视频等。数据库所管理的数据指的是按照某种数据模型结构化并存储在计算机系统中的数据。数据模型指的是描述数据与数据之间关系的一组概念，用于帮助人们理解和组织数据。数据模型可以分为逻辑模型和......
  • 数据库基本概念
    数据库（Database），是指按照一定的数据模型组织、描述和存储数据的集合。可以理解为是一个可存储、管理和检索数据的仓库。数据库管理系统（DatabaseManagementSystem，简称DBMS），是指管理和操作数据库的软件系统，通常包括数据定义、数据操作和数据控制三部分，常用的DBMS有Oracle、MySQL、SQ......
  • JAVA的springboot私人健身与教练预约管理系统、健身房管理系统，附源码+数据库+lw文档+P
    1、项目介绍任何系统都要遵循系统设计的基本流程，本系统也不例外，同样需要经过市场调研，需求分析，概要设计，详细设计，编码，测试这些步骤，基于java技术、springboot框架、B/S机构、Mysql数据库设计并实现了私人健身与教练预约管理系统。系统主要包括首页，个人中心，用户管理，教练管理，健身项目......
  • 数据库字符定义
    1）定义：char：固定长度，存储ANSI字符，不足的补英文半角空格。nchar：固定长度，存储Unicode字符，不足的补英文半角空格varchar：可变长度，存储ANSI字符，根据数据长度自动变化。nvarchar：可变长度，存储Unicode字符，根据数据长度自动变化。nvarchar(n)：包含n个字符的可变长度Unicode字符......
  • Canal 安装 && 使用，监听Mysql数据库
    1.下载canal.deployer-1.1.5.tar.gz2.查看数据库是否开启binlog模式(必须)showvariableslike'log_%';log_bin属性值为ON,则binlog模式开启；为OFF则binlog模式关闭。若binlog模式关闭，则在MySQL配置文件my.cnf(my.ini)设置如下信息:[mysqld]log-bin=mysql-bin#开启binlogbi......
  • 记一次redis数据库RDB内存事故排查处理
    事故表现：redis状态正常，但客户端不能使用，定位日志结论，redis内存申请不通过，导致中断用户操作解决办法1.解锁相关配置（不能解决根本问题，根本原因来源于开发使用姿势不对）两种解决办法一.打开系统层始终同意分配内存（不建议）编辑文件/etc/sysctl.conf添加vm.overcommit_memory=1内核参......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99