上次我们分享了利用powerquery来合并文件进行数据分析,但是Pq有一部分局限性,在现实工作中,我们往往需要合并多个文件去处理数据,
如果面对20个甚至更多的文件,pq中的每一步的步骤都会去读取每个文件,运行速度会十分慢,那么有没有简单的解决方法吗?
答案是:可以考虑合并成一个文件后来处理。
我们用py来合并文件后,输出一个大的csv表,然后利用Py或者pq进行处理,这样就可以大量节省时间,提高效率,今天我们就分享,py合并文件板块。
第一步:导入pandas,和os库
import pandas as pd
import os
第二步:设置路径
路径 = r'C:\Users\Administrator\Desktop\test/'#合并文件所在的文件路径,最后一个反斜杠不能被转义所以必须反斜杠 目的路径=r'C:/Users/Administrator/Desktop/合并230115.csv'#存放地址
第三步:合并文件,这里先,用for循环配合os.listdir获取了指定文件夹的全部文件路径,然后用concat合并了文件
路径 = r'C:\Users\Administrator\Desktop\test/' 合并表 = pd.DataFrame() for 文件名 in os.listdir(路径): 表格 = pd.read_csv(路径+文件名,encoding='gbk') 合并表 = pd.concat([合并表,表格]) print(合并表)
第四步:将合并好的文件输出到指定路径
合并表.to_csv(目的路径)
来到这里,就完成了全部操作,本文的变量是中文变量,不影响使用,目的是便于新手(博主也是新手)学习,能更快的用到工作中。
我是simone,期待下次的分享。(下次会分享pandas中的透视表功能,可以配合今天的文章,来处理合并文件,直接输出有些数据分析的结果)
标签:xlsx,文件,python,路径,合并,csv,os,pandas From: https://www.cnblogs.com/simone331/p/17054129.html