首页 > 编程语言 >#python 利用pandas 合并csv/xlsx文件

#python 利用pandas 合并csv/xlsx文件

时间:2023-01-15 21:23:33浏览次数:44  
标签:xlsx 文件 python 路径 合并 csv os pandas

  上次我们分享了利用powerquery来合并文件进行数据分析,但是Pq有一部分局限性,在现实工作中,我们往往需要合并多个文件去处理数据,

如果面对20个甚至更多的文件,pq中的每一步的步骤都会去读取每个文件,运行速度会十分慢,那么有没有简单的解决方法吗?

答案是:可以考虑合并成一个文件后来处理。

我们用py来合并文件后,输出一个大的csv表,然后利用Py或者pq进行处理,这样就可以大量节省时间,提高效率,今天我们就分享,py合并文件板块。

第一步:导入pandas,和os库

 

import pandas as pd
import os

  

第二步:设置路径

 

路径 = r'C:\Users\Administrator\Desktop\test/'#合并文件所在的文件路径,最后一个反斜杠不能被转义所以必须反斜杠
目的路径=r'C:/Users/Administrator/Desktop/合并230115.csv'#存放地址

  

第三步:合并文件,这里先,用for循环配合os.listdir获取了指定文件夹的全部文件路径,然后用concat合并了文件

路径 = r'C:\Users\Administrator\Desktop\test/'
合并表 = pd.DataFrame()
for 文件名 in os.listdir(路径):
    表格 = pd.read_csv(路径+文件名,encoding='gbk')
    合并表 = pd.concat([合并表,表格])
print(合并表)

第四步:将合并好的文件输出到指定路径

合并表.to_csv(目的路径)

  来到这里,就完成了全部操作,本文的变量是中文变量,不影响使用,目的是便于新手(博主也是新手)学习,能更快的用到工作中。

我是simone,期待下次的分享。(下次会分享pandas中的透视表功能,可以配合今天的文章,来处理合并文件,直接输出有些数据分析的结果)

标签:xlsx,文件,python,路径,合并,csv,os,pandas
From: https://www.cnblogs.com/simone331/p/17054129.html

相关文章

  • npm install error python2
    >[email protected]/Users/nyan/personal/workspace/react16.9/node_modules/watchpack-chokidar2/node_modules/fsevents>nodeinstall.jsERROR:root:codef......
  • 公路堵车概率模型Python(Nagel-Schreckenberg交通流模型)
    路面上有N辆车,以不同速度向前行驶,模拟堵车问题。有以下假设:假设某辆车的当前速度是v如果前方可见范围内没车,下一秒车速提高到v+1如果前方有车,前车的距离为d,......
  • Python 计算HHI指数
    UntitledIn [1]:importpandasaspdInfo=pd.read_excel("BANK_Info.xlsx")Combas=pd.read_excel("Bank_Combas.xlsx")Comins=pd.read_excel("Bank......
  • Python爬取cnnvd
    利用python监控CNNVD上面的新出漏洞实例,可以配合邮箱推送获取最新的漏洞情报爬取cnnvdimportrequestsfrombs4importBeautifulSoupimportreimporttimeimport......
  • Python开发的常用组件
    1.生成6位数字随机验证码importrandomimportstringdefnum_code(length=6):"""生成长度为length的数字随机验证码:paramlength:验证码长度:......
  • python播放音频文件
    将mp3文件转换为wav文件trans_mp3_to_wav.pyfrompydubimportAudioSegment#这里filepath填的是.mp3文件的名字(也可加上路径)deftrans_mp3_to_wav(filepath):s......
  • Python爬取图片
    Python爬取图片目标链接:https://pic.netbian.com/4kfengjing/思路:先通过首页的源码分析提取到子页面的链接,然后通过子页面的链接的源码来提取到图片的下载链接,我们再访问......
  • Python邮箱推送
    利用python进行邮箱推送可以配和爬虫使用,也可以监控github上面CVE等一个基于Python的邮箱推送脚本需要有一个邮箱授权码不知道哪里获取可以百度就不多详细的描述了成......
  • Python的多态怎么理解
    之前搜索的解释都说鸭子模型,什么一个东西只要它叫起来像鸭子、走起来像鸭子、xxx的,它就可以被称为鸭子......
  • Python3.10.4激活venv环境失败解决方法
    环境python-mvenvvenvvenv\Scripts\activate激活环境失败解决方案输入get-executionpolicyPSD:\flaskBlog>get-executionpolicyRestrictedPSD:\flaskBlog>set......