首页 > 数据库 >Flink Spark jdbc读写数据库导致oom和提升性能解决办法

Flink Spark jdbc读写数据库导致oom和提升性能解决办法

时间:2023-01-04 09:45:07浏览次数:82  
标签:reWriteBatchedInserts jdbc oom 数据库 Flink https

 fetchsize = Integer.MIN_VALUE  作用

如果不设置上述值,默认读取jdbc数据时,会默认获取所有的行到resultset中,数据量大会导致oom和占用大量内存

reWriteBatchedInserts=true 作用

java开发者使用PG jdbc驱动时,可以指定reWriteBatchedInserts连接参数来加速批量操作。如果reWriteBatchedInserts=true,JDBC驱动会重写批量insert转换成多行insert,从而限制数据库的调用次数

 

相关连接:

https://cloud.tencent.com/developer/article/1769186

https://www.cnblogs.com/foolaround/p/14654173.html

标签:reWriteBatchedInserts,jdbc,oom,数据库,Flink,https
From: https://www.cnblogs.com/yangh2016/p/17023987.html

相关文章

  • Flink:TableAPI 和 SQL
    快速上手引入依赖要在代码中使用TableAPI,必须引入相关的依赖。这里的依赖是一个Java的“桥接器”,主要就是负责TableAPI和下层DataStreamAPI的连接支持,按照不同的......
  • Flink mini-batch "引发" 的乱序问题
    问题描述近期业务反馈,开启了mini-batch之后,出现了数据不准的情况,关掉了mini-batch之后,就正常了,因此业务方怀疑,是不是Flink的mini-batch存在bug?问题排查......
  • flink orc hive 2.1.1 源码bug处理
    先说一下我们公司的线上集群配置: CDH6.3.1,hive2.1.1 ,由于公司是做车联网业务方向的,所以数据量很大,同事小A,在往集群写数据,发现写入的数据不能在hive表里查询,他写往......
  • 第十八章《JDBC》第2节:JDBC编程
    ​实际开发过程中,JDBC编程用到的类和接口并不多,并且编程往往遵循一定的套路,本小节将讲解JDBC编程基本技术。18.2.1JDBC常用接口和类简介JDBC包含一组类和接口,这些类和接口......
  • 第十八章《JDBC》第3节:事务处理
    ​事务是数据库学科中非常重要的机制,它是保证底层数据完整的重要手段,没有事务支持的数据库都是非常脆弱的,本小节将讲解MySQL事务处理的基本技术和以及JDBC的事务支持方法。1......
  • 第十八章《JDBC》第4节:数据库连接池
    ​数据库连接的建立及关闭是极耗费系统资源的操作,在多层结构的应用环境中,这种资源的耗费对系统性能影响尤为明显。通过DriverManager获得的数据库连接,一个数据库连接对象均......
  • Flink:容错机制
    检查点检查点的保存最理想的情况是,每处理完一个数据就保存一下当前的状态,但是这样处理效率不高。周期性的触发保存:每隔一段时间去做一次存档,间隔时间可以进行设置。保......
  • JDBC
    1.JDBC概述在开发中我们使用的是java语言,那么势必要通过java语言操作数据库中的数据1.1JDBC概念JDBC就是使用Java语言操作关系型数据库的一套API全称:(JavaDat......
  • SpringBoot中使用JDBC(扩展:关于java中的jdbc、数据库驱动、数据库连接池的学习与理解)
    SpringBoot中使用JDBC:https://huaweicloud.csdn.net/63876ea0dacf622b8df8bf7d.html?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7E......
  • Flink:状态编程
    Flink中的状态在流处理中,数据是连续不断到来的。每个任务进行计算处理时,可以基于当前数据直接转换得到输出结果,也可以依赖一些其他数据。这些由一个任务维护,并且用来计算......