首页 > 数据库 >盘点一个通过python大批量插入数据到数据库的方法

盘点一个通过python大批量插入数据到数据库的方法

时间:2023-07-25 22:34:11浏览次数:44  
标签:插入 python 数据库 大批量 盘点 sql df 数据 代码

大家好,我是皮皮。

一、前言

前几天在Python白银群【鶏啊鶏】问了一个Python数据存入数据库的问题,一起来看看吧。

各位大佬 我想请教下通过python大批量插入数据到数据库的方法 目前我在用的操作是以下这个模式:

sql=''
for i in list:
 sql = "insert XXX表(地址,单号,缸号,状态,备注,时间) values('" + address + "','"+ppo+"','"+batch_no+"','待定','未生产',getdate())"

这样当sql稍微大点的情况下 一次性插入就会插入失败,想请问下各位大佬如果大批量插入的话应该用哪个方式更稳定点呢。

image.png

二、实现过程

这里【袁学东】给了一个解答,如下所示:

用pandas, 先将批量插入数据整理成dataframe,df.to_sql(table, index=False, con=self.engine, if_exists=method),1000万行的数据导入也只要几秒钟。如果数据源是csv或excel更简单,df = pd.read_csv("file.csv") 或df = pd.read_excel("file.xls"),然后df.to_sql()

image.png

顺利地解决了粉丝的问题。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python数据存数据库的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【鶏啊鶏】提问,感谢【袁学东】给出的思路和代码解析,感谢【巭孬嫑勥烎】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

image.png

标签:插入,python,数据库,大批量,盘点,sql,df,数据,代码
From: https://www.cnblogs.com/dcpeng/p/17581218.html

相关文章

  • python 函数 定义参数类型
    Python函数参数类型的定义在Python中,函数是一种非常重要的编程概念,它可以将一段代码逻辑封装成一个可重复使用的块。函数的参数类型的定义对于函数的正确使用和调用至关重要。本文将介绍Python中函数参数类型的定义方法,并给出一些代码示例。为什么要定义函数参数类型Python......
  • python 固定长度数组
    python固定长度数组在Python中,数组是一种常见的数据结构,用于存储相同类型的元素。通常,我们可以使用列表(List)来表示数组。然而,Python中的列表是可变长度的,这意味着我们可以随时向列表中添加或删除元素。但在某些情况下,我们需要固定长度的数组,即不能增加或删除元素。本文将介绍如何......
  • python 根据文字生成图片
    使用Python生成图片导言在这篇文章中,我将向您展示如何使用Python根据文字生成图片。这个过程可以通过以下几个步骤实现:创建一个空白图片;添加文字到图片中;设置图片的样式,如字体、颜色和大小;保存生成的图片。现在,让我们一步一步地来实现这个过程。步骤下面的表格展示了整......
  • python 根据句柄获取窗体截图
    Python根据句柄获取窗体截图概述在开发过程中,我们经常会遇到需要获取窗体截图的需求。本文将教你如何使用Python根据句柄获取窗体截图。步骤下面是整个流程的步骤:步骤描述步骤1导入相关模块步骤2获取窗体句柄步骤3获取窗体位置和大小步骤4根据窗体位置......
  • Python【22】 __iter__, __next__, iterable, iterator, 可迭代对象, 迭代
    参考:https://www.jianshu.com/p/1b0686bc166d......
  • Python中的浅复制与深复制
     1.元组:元组是不可变的有序列表。1a=[30,40]2tuple_a=(1,2,a)3a[0]=34tuple_a5#>>>(1,2,[3,40])#元组是不可变的,但是元组中的元素如果是引用(某个对象的地址),引用的对象是可能会改变的。 2.copy模块中的copy方法可能可以浅复制......
  • AI训练营—Python的一些基础知识
    目录列表字典复制对象列表切片:左开右闭倒取值字典集合:无序的,元素是唯一的dk_set=set()#也可以是dk_set={},创建一个空的集合#集合的并union(),交intersection(),差difference()#集合不会出现重复元素foriin"Dkfor3,Dkfor3":dk_set.add(i)#添加元素i的值进集合......
  • python 转义括号
    Python转义括号的实现过程概述在Python编程中,转义括号是一种特殊的语法,用于表示字符串中的括号字符。当我们需要在一个字符串中包含括号时,为了避免与代码中的括号产生歧义,我们需要使用转义括号来表示括号字符本身。本文将详细介绍如何在Python中实现转义括号的功能。实现步骤......
  • python 抓包ip
    Python抓包IP的实现步骤在Python中,我们可以使用一些第三方库来实现抓包IP的功能,其中比较常用的是scapy库。本文将向你介绍如何使用scapy来实现Python抓包IP的功能。实现步骤下面是实现Python抓包IP的流程,我们可以使用一个表格来展示每个步骤及其对应的代码:步骤描述1......
  • python 柱状图 数值 字体
    Python柱状图:数值与字体柱状图是数据可视化中常用的一种图表类型,它能够直观地展示不同类别的数据之间的比较关系。在Python中,有多种方式可以绘制柱状图,而且可以根据需要对柱状图进行自定义,包括设置数值和字体。Matplotlib库绘制柱状图Matplotlib是Python中最常用的数据可视化库......