首页 > 数据库 >Python使用pymysql和xlrd2将Excel数据导入MySQL数据库

Python使用pymysql和xlrd2将Excel数据导入MySQL数据库

时间:2023-10-29 17:23:21浏览次数:40  
标签:sheet Python 数据库 Excel xlrd2 cell MySQL row

在数据处理和管理中,有时候需要将Excel文件中的数据导入到MySQL数据库中进行进一步的分析和操作。本文将介绍如何使用Python编程语言实现这个过程。

导入所需库

import xlrd2  # 导入xlrd2库,用于读取Excel文件
import pymysql  # 导入pymysql库,用于连接和操作MySQL数据库
from datetime import datetime  # 导入datetime库,用于处理日期和时间

这部分代码导入了xlrd2库用于读取Excel文件,pymysql库用于连接和操作MySQL数据库,以及datetime库用于处理日期和时间。

连接到MySQL数据库

mydb = pymysql.connect(
    host="localhost",
    user="root",
    passwd="123456",
    db="test"
)

通过pymysql.connect()函数连接到MySQL数据库。需要提供数据库的主机名、用户名、密码和数据库名称。

打开Excel文件并获取表头

workbook = xlrd2.open_workbook(r'E:\重新开始\Python操作MySQL数据库\sheet1.xlsx')
sheet = workbook.sheet_by_index(0)  # 获取第一个工作表

header = [cell.value for cell in sheet.row(0)]

使用xlrd2.open_workbook()函数打开Excel文件,并使用sheet_by_index()方法获取第一个工作表。然后通过sheet.row(0)获取第一行的单元格对象,并使用列表推导式将每个单元格的值添加到header列表中。

 创建游标对象

cursor = mydb.cursor()

使用mydb.cursor()方法创建游标对象,用于执行SQL语句。

遍历每一行数据并插入到数据库中

for row_idx in range(1, sheet.nrows):  # 从第二行开始遍历
    row_data = []
    for cell in sheet.row(row_idx):
        if cell.ctype == xlrd2.XL_CELL_DATE:
            cell_value = xlrd2.xldate.xldate_as_datetime(cell.value, workbook.datemode)
            row_data.append(cell_value.strftime('%Y-%m-%d %H:%M:%S'))
        else:
            row_data.append(cell.value)

    sql = f"INSERT INTO yonghu ({', '.join(header)}) VALUES ({', '.join(['%s'] * len(header))})"
    cursor.execute(sql, row_data)

    print(f"正在插入第{row_idx}条数据")

通过for循环遍历Excel文件的每一行数据(从第二行开始)。在内部循环中,判断单元格的数据类型是否为日期类型,如果是,则将其转换为字符串格式并按照指定的格式进行调整;否则,直接将其添加到row_data列表中。

然后,使用', '.join(header)', '.join(['%s'] * len(header))构建插入数据的SQL语句,其中header为表头的字段名,'%s' * len(header)表示占位符的数量与字段数相同。

最后,使用游标对象的execute()方法执行SQL语句,并传入row_data作为参数,将行数据插入到数据库中。

提交更改并关闭数据库连接

mydb.commit()
cursor.close()
mydb.close()

使用mydb.commit()提交对数据库的更改,并使用cursor.close()关闭游标对象。最后,使用mydb.close()关闭与数据库的连接。

完整代码如下:

import xlrd2  # 导入xlrd2库,用于读取Excel文件
import pymysql  # 导入pymysql库,用于连接和操作MySQL数据库
from datetime import datetime  # 导入datetime库,用于处理日期和时间

# 连接到MySQL数据库
mydb = pymysql.connect(
    host="localhost",
    user="root",
    passwd="123456",
    db="test"
)

# 打开Excel文件
workbook = xlrd2.open_workbook(r'E:\重新开始\Python操作MySQL数据库\sheet1.xlsx')
sheet = workbook.sheet_by_index(0)  # 获取第一个工作表

# 获取表头(即Excel文件的第一行数据)
header = [cell.value for cell in sheet.row(0)]

# 创建游标对象,用于执行SQL语句
cursor = mydb.cursor()

# 遍历每一行数据,并将其插入到数据库中
for row_idx in range(1, sheet.nrows):  # 从第二行开始遍历
    row_data = []
    for cell in sheet.row(row_idx):
        # 处理时间类型的字段
        if cell.ctype == xlrd2.XL_CELL_DATE:  # 判断单元格的数据类型是否为日期类型
            cell_value = xlrd2.xldate.xldate_as_datetime(cell.value, workbook.datemode)
            # 将日期类型转换为字符串格式,并按照指定的格式进行调整
            row_data.append(cell_value.strftime('%Y-%m-%d %H:%M:%S'))
        else:
            row_data.append(cell.value)  # 将其他类型的数据直接添加到行数据列表中

    # 构建插入数据的SQL语句
    sql = f"INSERT INTO yonghu ({', '.join(header)}) VALUES ({', '.join(['%s'] * len(header))})"
    # 执行SQL语句,将行数据插入到数据库中
    cursor.execute(sql, row_data)

    # 显示当前正在插入第几条数据
    print(f"正在插入第{row_idx}条数据")

# 提交更改并关闭数据库连接
mydb.commit()
cursor.close()
mydb.close()

 

标签:sheet,Python,数据库,Excel,xlrd2,cell,MySQL,row
From: https://www.cnblogs.com/lcl-cn/p/17796070.html

相关文章

  • python 安装包时 ERROR: Failed building wheel for webrtcvad
    报错信息:error:subprocess-exited-with-error×Buildingwheelforwebrtcvad(pyproject.toml)didnotrunsuccessfully.│exitcode:1╰─>[9linesofoutput]runningbdist_wheelrunningbuildrunningbuild_pycreatingbuildcre......
  • Pandas数据导入和导出:CSV、Excel、MySQL、JSON
    导入MySQL查询结果:read_sqlimportpandascon="mysql+pymysql://user:[email protected]/test"sql="SELECT*FROM`student`WHEREid=2"#sql查询df1=pandas.read_sql(sql=sql,con=con)print(df1)导入MySQL整张表:read_sql_table#整张表df2=pandas.rea......
  • Python自动处理pptx:新建、另存、添加幻灯片、添加标题、插入文本图片图形、提取文本
    Python-pptx库是一个用于创建、更新和读取MicrosoftPowerPoint.pptx文件的Python库。它允许我们使用Python脚本自动化PowerPoint文件的创建、更新和读取操作,是一个非常方便自动化处理PPTX的工具。安装pipinstallpython-pptx创建frompptximportPresentationppt=Presentat......
  • Python中文分词、词频统计并制作词云图
    中文分词、词频统计并制作词云图是统计数据常用的功能,这里用到了三个模块快速实现这个功能。中文分词、词频统计importjiebafromcollectionsimportCounter#1.读取文本内容并进行分词withopen('demo.txt',mode='r',encoding='gbk')asf:report=f.read()words......
  • Python数据结构——栈
    栈(Stack)是一种基本的数据结构,它遵循“后进先出”(Last-In-First-Out,LIFO)的原则,即最后放入栈的元素最先出栈。栈常用于管理函数调用、表达式求值、括号匹配等问题。本文将详细介绍Python中栈数据结构的使用,并提供示例代码来说明。什么是栈?栈是一种线性数据结构,它由一组元素组成,支持两......
  • 一周学会python4变量
    4变量为了正常运行,Python程序需要变量和运算符等基本组件。包括变量和运算符在内的这些元素对于程序员新手来说很容易理解和应用,使他们能够开发出创建复杂软件所需的算法。本章涉及到了第8章函数的内容,如不能理解,可学习函数后再温习。4.1变量简介变量是在Python程序中存储和......
  • python面向对象-学习笔记(三、类方法、实例方法、静态方法)
    方法相关方法的概念描述一个目标的行为动作和函数相似封装了一系列行为动作。比如一个人怎么吃,怎么喝,怎么玩...都可以被调用最主要区别:调用方式方法的划分实例方法:默认第一个参数是一个实例类方法:默认第一个参数是类静态方法:没有默认参数注意划分的依据:方法的第一......
  • 万字长文 | 业内 MySQL 线程池主流方案详解 - MariaDB/Percona/AliSQL/TXSQL/MySQL企
    作者:卢文双资深数据库内核研发本文首发于2023-05-0422:07:40http://dbkernel.com/2023/05/04/mysql-threadpool-main-solutions-details/#本文主要从功能层面对比percona-server、mariadb、阿里云AliSQL、腾讯TXSQL、MySQL企业版线程池方案,都基于MySQL8.0。至于源......
  • python面向对象-学习笔记(四、类相关的补充)
    元类创建类对象的类对象怎么产生的?由类创建出来的。类是不是对象?是所以类对象是不是由另外一个类创建出来的?是,元类创建类对象的另外一种方式#创建类对象的另外一种方式defrun(self):print("run",self)dog=type("Dog",(),{"count":1,"run":run})prin......
  • python面向对象-学习笔记(五、属性相关的补充)
    私有化属性注意python并没有真正支持私有化,但是可以使用下划线完成伪私有的效果类属性(方法)和实例属性(方法)遵循相同的规则公有属性a在类的内部可以访问在子类的内部可以访问在模块其他地方类的属性可以访问子类的属性可以访问类的实例的属性可以访问子类的......