首页 > 数据库 >关于批量写入数据库

关于批量写入数据库

时间:2023-09-14 14:40:14浏览次数:48  
标签:em 批量 批处理 数据库 写入 自动 commit


今天上午写个程序要将几张表内的数据读出写入一张表(2w多数据),开始没有使用批处理(每条写入都自动commit),写入速度在分钟级(太慢了后来就没计时),后来添加了批处理(不自动commit),全部用时20多秒。可见批处理写入数据库要快很多。程序大致结构如下:


EntityManager em = JPA.em();
em.setFlushMode(FlushModeType.COMMIT);
for(int i=0;i<20000;i++){
	MaterialInfo mi = new MaterialInfo();
	//set...
	em.persist(mi);
	if(i%BATCH_SIZE==0){
		em.flush();
	}
}

标签:em,批量,批处理,数据库,写入,自动,commit
From: https://blog.51cto.com/u_6978506/7469999

相关文章

  • 关系数据库扩展知识总结
    最近在学习分布式数据库架构相关的知识(主要是Mysql),并对数据库扩展这部分知识整理总结了一下,希望对看到的人有所帮助,也希望读者能多提建议。-----------------------------------------------------------关系型数据库扩展的几个步骤:一、第一步:主从复制+读写分离......
  • Myspace数据库架构经验学习
    50万账户两台Web服务器和一个数据库服务器。第二代架构:运行在3个SQLServer数据库服务器,一主二从,读写分离。1-2百万账户垂直分割:不同的数据库服务于站点的不同功能,如登录、用户资料和博客。账户到达2百万后,数据库服务器开始受制于I/O容量,用高带宽、专门设计的网络将大量磁盘存储设......
  • Navicat远程链接openGauss数据库
    文章目录前言一、环境准备二、openGauss服务设置步骤2.1切换至用户openGauss2.2添加放行IP2.3修改加密方式3.4重启openGauss服务3.5创建远程连接角色备注总结 前言最近这段时间再整理openGauss数据库相关内容,在这里总结记录并分享一些基础的操作以及遇......
  • 百度 Web Uploader 文件批量上传组件
    WebUploader是由BaiduWebFE(FEX)团队开发的一个简单的以HTML5为主,FLASH为辅的现代文件上传组件。在现代的浏览器里面能充分发挥HTML5的优势,同时又不摒弃主流IE浏览器,沿用原来的FLASH运行时,兼容IE6+,iOS6+,android4+。两套运行时,同样的调用方式,可供用户任意选用。采用大文件......
  • N天爆肝数据库——MySQL(2)
    (N天爆肝数据库——MySQL(2))链接:link这是csdn专栏链接,大家可以看一看,提提意见本篇文章,主要对DMLDQL进行知识总结和学习。期待和大家一起学习进步。DML-介绍DML(数据库操作语言),用来对数据库中表的数据记录进行增删改操作。添加数据(INSERT)修改数据(UPDATE)删除数据(DELET......
  • Citrix SQL数据库查询和替换修改字段
    1如下图,右键指定库新建查询即可2粘贴底部代码后,如下,点击执行查询即可--查看Citrix站点数据库如下表内容字段select*fromchb_config.Controllers;select*fromADIdentitySchema.Services;select*fromHostingUnitServiceSchema.Services;select*fromAppLibrarySchem......
  • 数据库使用uuid的影响
    关于数据库主键性能差异比较对象:(自增主键、有序uuid、无序uuid)前置条件:根据自增主键、有序uuid、无序uuid相同环境相同条件新增3张测试表,分别向每张表插入5020000数据1、插入性能:插入耗时对比:自增:91257ms有序uuid:98779ms无序uuid:275468ms2、对比页的分裂数自增page_......
  • MySQL 和 Python:无缝结合的数据库应用
    MySQL和Python都是广泛应用于软件开发的重要工具。MySQL是一种强大的关系型数据库管理系统,而Python则是一种灵活的高级编程语言。它们之间的紧密集成为开发人员提供了强大的数据存储和操作能力。本文将探讨MySQL和Python之间的关系,并提供一些示例代码来演示如何在Python......
  • 7、数据库在磁盘上的存储
    数据库在磁盘上的存储首先弄清楚磁盘的几个概念磁盘面:磁盘一般会由多个磁盘片组成,一般都控制在5片以内,每个磁盘片包含两个面。磁盘片从下向上从0开始,比如最下边的磁盘块是0面和1面,依次往上走。磁头:通过磁性原理读取磁盘数据的部件,每个磁盘面都对应有个读/写磁头。3.内存......
  • 向量数据库简介和5个常用的开源项目介绍
    在人工智能领域,有大量的数据需要有效的处理。随着我们对人工智能应用,如图像识别、语音搜索或推荐引擎的深入研究,数据的性质变得更加复杂。这就是向量数据库发挥作用的地方。与存储标量值的传统数据库不同,向量数据库专门设计用于处理多维数据点(通常称为向量)。这些向量表示多个维......