文本预处理2-去除空行

1.针对文本里有大量的空行，进行删除空行处理。
2.读取txt文档，将处理后的内容写回原文件。

#文本预处理2-去除空行
import os
def remove_empty_lines(text):
    # 使用 splitlines() 分割文本为行列表，并过滤掉空行
    lines = [line for line in text.splitlines() if line.strip()]
    # 使用换行符 '\n' 将非空行连接起来形成新的文本
    return '\n'.join(lines)


def process_txt_files(folder_path):
    for filename in os.listdir(folder_path):
        if filename.endswith('.txt'):
            file_path = os.path.join(folder_path, filename)
            with open(file_path, 'r', encoding='utf-8') as file:
                content = file.read()
                processed_content = remove_empty_lines(content)

            # 将处理后的内容写回原文件
            with open(file_path, 'w', encoding='utf-8') as file:
                file.write(processed_content)

            # print(f'Processed content written back to {filename}')


# 替换为你的文件夹路径
folder_path = "C:\\Users\\lenovo\\Desktop"
process_txt_files(folder_path)