首页 > 编程语言 >Python 如何自动遍历文件下所有的文件,然后再对每一个文件夹读取里面的csv文件

Python 如何自动遍历文件下所有的文件,然后再对每一个文件夹读取里面的csv文件

时间:2023-08-16 11:44:48浏览次数:41  
标签:文件 遍历 Python 文件夹 file path csv

Python 如何自动遍历文件下所有的文件,然后再对每一个文件夹读取里面的csv文件:
代码:

import os
import csv

# 设置要遍历的文件夹路径
folder_path = "your_folder_path"

# 遍历文件夹
for root, dirs, files in os.walk(folder_path):
    # 遍历当前文件夹下的所有文件
    for filename in files:
        # 判断是否为csv文件
        if filename.endswith(".csv"):
            file_path = os.path.join(root, filename)
            # 读取csv文件内容
            with open(file_path, 'r') as csv_file:
                csv_reader = csv.reader(csv_file)
                for row in csv_reader:
                    print(row)

并将所有结果合并为一个dataframe输出:

import os
import glob
import pandas as pd

# 定义要遍历的文件夹路径和输出文件路径
folder_path = "path/to/folder"
output_file = "path/to/output.csv"

# 定义一个空的DataFrame用于存储所有数据
all_data = pd.DataFrame()

# 遍历文件夹下的所有子文件夹
for subdir in os.listdir(folder_path):
    subdir_path = os.path.join(folder_path, subdir)
    if os.path.isdir(subdir_path):
        # 获取子文件夹下的所有csv文件路径
        csv_files = glob.glob(os.path.join(subdir_path, "*.csv"))
        # 遍历csv文件并添加到all_data DataFrame中
        for file_path in csv_files:
            data = pd.read_csv(file_path)
            all_data = pd.concat([all_data, data])

# 将最终结果输出到一个csv文件中
all_data.to_csv(output_file, index=False)

  

标签:文件,遍历,Python,文件夹,file,path,csv
From: https://www.cnblogs.com/ltkekeli1229/p/17633623.html

相关文章

  • 【chatgpt】验证文件一致性
    在Windows和Linux下用于文件验证一致性的常用算法是MD5(MessageDigestAlgorithm5)和SHA-256(SecureHashAlgorithm256-bit)。这两个算法都能提供快速而准确的文件校验结果。MD5算法:将文件作为输入,生成一个128位的哈希值,通常表示为32个十六进制数字。MD5算法被广泛应用于文件完......
  • 利用Python隧道ip轻松构建全局爬虫网络
    嘿,爬虫程序员们!你们有没有碰到过需要大规模数据爬取的情况?也许你们之前遇到过网站的反爬措施,卡住你们的进度。别担心,今天我来分享一个利用Python隧道爬虫ip实现的方法,帮助你们轻松搭建全局爬虫ip网络,解决反爬的难题。首先,我们要明白什么是隧道爬虫ip隧道爬虫ip,顾名思义,就是在网络上......
  • 基于python的12306自动抢票系统的设计与实现
    铁路售票系统12306网站作为一个广受人们的日常使用工具,受大极大的关注。铁路售票的管理者都主要考虑降低成本,提升售票服务满意度。一年一度的春运和节假日出行高峰期,给众多的出行群众者带来了极大的烦恼,也给用户购买火车票造成了巨大的不方便。本文通过调研动车售票系统的业务流程,......
  • 学了Python基本语法 下一步该学什么
    刚入门Python,学习了基本语法后,你可以开始编写简单的程序了。接下来,你可以学习Python的标准库和第三方库,掌握更多的编程技巧和知识,提高自己的编程能力。同时,也可以通过实践项目来巩固所学知识,提高自己的实战能力。学习Python基本语法是入门的第一步,接下来你可以考虑以下几个方向:1......
  • 【上传文件时异常】The field file exceeds its maximum permitted size of 1048576 b
    1、背景描述本项目是个springboot项目,需要文件上传,上传的是一个pdf文件,大小是5MB,报错内容如下:Causedby:org.apache.tomcat.util.http.fileupload.FileUploadBase$FileSizeLimitExceededException:Thefieldfileexceedsitsmaximumpermittedsizeof1048576bytes.2......
  • 8-16|Python操作3Dmax简单例子
    是的,Python可以与3dsMax交互。Autodesk3dsMax提供了一个名为`MaxPlus`的PythonAPI,可以使开发人员使用Python控制和自动化3dsMax。使用这个API,你可以创建、查询和编辑场景对象,控制动画,以及完成3dsMax内的许多其他任务。以下是使用Python与3dsMax交互的基本步骤:1.**安装3ds......
  • 在多个版本python中指定安装第三方库,以及调用
    1.很多开发需求的时候,会需要不同版本的python,比如说pytorch的时候需要3.9以及对应的版本,某个需求指定3.8版本,所以现在拥有很多个python,但是又不统一相应的库。2.步骤:①如何查看自己默认版本在命令行(Win+R)的情况直接python--version②如何调用某一个......
  • 基于Jenkins+Python+Ubuntu+Docker的接口/UI自动化测试环境部署详细过程
    (基于Jenkins+Python+Ubuntu+Docker的接口/UI自动化测试环境部署详细过程)1Jenkins是什么?学习官网:Jenkins官网,Jenkins中文官网;Jenkins是一款开源CI&CD软件,用于自动化各种任务,包括构建、测试和部署软件;用Java语言编写的,可在Tomcat、Docker等流行的容器中运行,也可独立运行。......
  • 货币政策不确定性数据计算(python的getline方法)
    需求:工作中需要计算货币政策不确定性等大量数据,需要从每个数据源中提取灵动文本值,对其进行统计分析汇总,便于后续进行回归及其他实证设计。 解决:python自带的linecache模块中getline方法简单好用,可直接提取文件中对应行的内容并进行统计分析#!/usr/bin/python # -- codin......
  • 解决VS2022工程中多个含main()函数源码文件同时编译问题
    做编程练习时,我常常将源码文件放在一个工程中管理,写出的每个源码文件中都包含一个main()函数。于是出现这样的问题:于是生成失败。这是因为,在VS2022中,一个工程里只能有一个入口函数main()。这样的要求对于一个完整的工程来说其实也比较合理,但是对我来说很不方便。于是,通过以......