首页 > 编程语言 >Python+Pandas批量合并大量excel文件

Python+Pandas批量合并大量excel文件

时间:2023-05-05 17:44:53浏览次数:43  
标签:Python excel df location file path os Pandas

requirments.txt

et-xmlfile==1.1.0
numpy==1.24.3
openpyxl==3.1.2
pandas==2.0.1
python-dateutil==2.8.2
pytz==2023.3
six==1.16.0
tzdata==2023.3

main.py


import os
import pandas as pd

dir_path = os.path.dirname(os.path.abspath(__file__))
source_location = os.path.join(dir_path,"source")

df = []
target = []
i = 0 
for filename in os.listdir(source_location): 
    if filename.endswith('.xlsx'):
        df.append(filename)
    

for i in range (0,len(df)):
# for i in range (0,2):
    excel_file_location = os.path.join(source_location,df[i])
    print(excel_file_location)
    dfs = pd.read_excel(excel_file_location)
    dfs.insert(loc=18,column='file_name',value=df[i])
    target.append(dfs)
    i = i +1
df_concat = pd.concat(target)
df_concat.to_excel(dir_path+'/{}.xlsx'.format('合并结果'),index=None)


df_concat.to_csv('df_concat.csv',sep=',',header=True, encoding='utf_8_sig', index=False)
print(i)

excel文件放在source目录下

标签:Python,excel,df,location,file,path,os,Pandas
From: https://www.cnblogs.com/bionexit/p/17374905.html

相关文章

  • Python实现遍历读取文件或文件夹
    参考:https://www.jb51.net/article/258341.htmos.walk本身已经是遍历读取,包含所有的子文件(夹)path=u'.'#文件路径defnewWalkFile2(file):#main_dir当前路径,sub_dir_list当前路径下的子文件夹是个数组,sub_file_list当前路径下具体文件formain_dir,sub_dir_l......
  • Python自动寻路算法
    一、题目描述在一个迷宫游戏里,有一些小怪物要去攻击主角,现在希望给这些小怪物加上聪明的AI,让他们可以自动绕过迷宫中的障碍物,寻找到主角所在。二、解题思路迷宫游戏里的场景通常都是由小方格组成。假设我们有一个7*5大小的迷宫,图中红色格子是终点,绿色格子是起点,蓝色格子是一堵墙......
  • Python教程:pandas读写txt文件——DataFrame和Series
    大家用pandas一般都是读写csv文件或者tsv文件,读写txt文件时一般就withopen了,其实pandas数据类型操作起来更加方便,还是建议全用pandas这一套。读txt文件代码如下,主要是设置正则表达式的分隔符(sep参数),和列名取消(header参数),以及不需要列索引(index_col)。1df=pd.read_csv("workl......
  • python笔记-数据类型
    获取数据类型type(val)iftype(1)==int:print('1是int类型')iftype('hello')==str:print('1是字符串类型')iftype(1.5)==float:print('1是float类型')iftype([1,2])==list:print('1是list类型')类型转换prin......
  • Typora+MinIO+Python代码打造舒适协作环境
    作者:IT王小二博客:https://itwxe.com不知不觉大半年没更新了...前面小二介绍过使用Typora+MinIO+Java代码打造舒适写作环境,然后有很多大佬啊,说用Java来实现简直是杀鸡用上牛刀,小二想了想,确实有点...正好小二最近在学习Python,所以咱们就改用Python实现一版。安装MinIO安装参考......
  • python dingtalk钉钉群告警消息发布
    目录pythondingtalk钉钉群告警消息发布Dingtalk简介钉钉告警消息通知脚本pythondingtalk钉钉群告警消息发布公司用oprator部署的prometheus,理论上时可以直接通过alertmanager的配置。通过钉钉机器人的webhook向群里发送告警信息。但是想要格式化输出格式,并且规范化就成了问题......
  • 解决python配置环境变量后cmd窗口无法打开并弹出Microsoft store界面
    前言在一台新的机器上安装python并正确配置环境变量后,本来打算测试一下是否安装成功,结果在cmd窗口输入python执行后,没有出现版本信息,并会弹出Microsoftstore界面。反复检查了一下,环境变量确实已经正确配置了,但还是无法执行。后经查找资料解决了该问题,在此做下记录。......
  • jexcel_将excel数据导入到页面
    jexcel_将excel数据导入到页面    还需解决的课题:下载jszip.js和xlsx.js<%@PageLanguage="C#"AutoEventWireup="true"CodeFile="有效代码_将excel数据导入到网页.aspx.cs"Inherits="Default2"%><!DOCTYPEhtml><htmlxmlns="......
  • 下载文件(Excel)功能,后端返回blob字节流,前端怎么处理?
    在做大屏数据项目有个报表下载的功能,根据用户选择的时间下载对应时间的报表,后端返回的是文件流,前端需要怎么去处理呢?实现的功能效果: 后端返回的数据:需要我们处理的乱码:前端代码:1exportExcel(){2axios({3methods:"xxxx",4url:"xxx/xxxx/xx......
  • Python使用虚拟环境
    本文来源:Python使用虚拟环境-钻芒博客(zuanmang.net)安装虚拟环境sudoapt-getupdatesudoapt-getinstallpython3-venv回到用户目录: cd~创建虚拟环境: python3-mvenvvenv激活虚拟环境: sourcevenv/bin/activate在激活的虚拟环境......