首页 > 编程语言 >[爬虫]2.3.1 使用Python操作文件系统

[爬虫]2.3.1 使用Python操作文件系统

时间:2023-07-26 12:34:12浏览次数:60  
标签:文件 读取 Python open 爬虫 2.3 path os

Python提供了许多内置库来处理文件系统,如osshutilpathlib等,这些库可以帮助你创建、删除、读取、写入文件和目录。

读取文件

在Python中,你可以使用内置的open函数来打开一个文件。open函数返回一个文件对象,你可以对这个对象进行各种操作。

以下是一个读取文件的例子:

with open('example.txt', 'r') as f:
    content = f.read()

print(content)

open函数的第一个参数是文件的路径,第二个参数是模式。在这个例子中,模式是'r',表示读取。

使用with语句可以自动关闭文件,这是一个好习惯。

read方法可以读取文件的全部内容。如果文件很大,你可能想要使用readlinereadlines方法来分行读取。

写入文件

你也可以使用open函数来写入文件。只需将模式改为'w'或'a'即可。'w'表示写入,如果文件已存在,它将被覆盖。'a'表示追加,如果文件已存在,新的内容将被添加到文件的末尾。

以下是一个写入文件的例子:

with open('example.txt', 'w') as f:
    f.write('Hello, Python!')

write方法可以将一个字符串写入文件。

操作目录

你可以使用os库来操作目录。

例如,你可以创建一个新的目录:

import os

os.mkdir('example')

你也可以删除一个目录:

os.rmdir('example')

你可以获取当前的工作目录:

cwd = os.getcwd()
print(cwd)

你也可以改变工作目录:

os.chdir('/path/to/directory')

文件路径

在处理文件路径时,你可能会遇到许多问题,如路径分隔符在不同操作系统下的差异。为了解决这些问题,你可以使用os.pathpathlib库。

以下是一些常用的路径操作:

import os

# 连接路径
path = os.path.join('directory', 'file.txt')

# 分割路径
directory, file = os.path.split(path)

# 获取文件的扩展名
extension = os.path.splitext(file)[1]

# 检查文件或目录是否存在
exists = os.path.exists(path)

这就是Python处理文件系统的基本知识。现在,你可以尝试使用这些知识来存储你爬取的数据了。
推荐阅读:

https://mp.weixin.qq.com/s/dV2JzXfgjDdCmWRmE0glDA

https://mp.weixin.qq.com/s/an83QZOWXHqll3SGPYTL5g

file

标签:文件,读取,Python,open,爬虫,2.3,path,os
From: https://www.cnblogs.com/yaoqian/p/17582168.html

相关文章

  • 如何用python做一个exe程序快速爬取文章?
    我用了99藏书网作为例子九九藏书网(99csw.com)注:本程序主要用于快速复制99藏书网中的小说,有些参数我要在开头先解释清楚 一、导入库importtkinterastkfromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.common.a......
  • python实现自动切换壁纸(win10)
    因为本人工作环境特殊,很多软件的下载很麻烦,而且违规。然后发现域策略有变更,之前貌似不可以自己换壁纸。我是一个对任何重复的事物都十分容易腻的人,壁纸也包括在内,所以决定写一个自动切换壁纸的脚本importosimportctypesimporttimefromdatetimeimportdatetime#放......
  • Linux版python安装教程
    如果你希望在CentOS上使用源码编译的方式安装Python3,请按照以下步骤进行操作:安装编译工具和依赖项:在开始编译前,需要安装一些编译工具和Python3的依赖项。在终端中运行以下命令:sudoyumgroupinstall"DevelopmentTools"sudoyuminstallopenssl-develbzip2-devel......
  • python学习01:Python基础语法与数据类型
    一、Python注释通常用于解释代码,这段打开主要是想表达什么意思,注释后的代码不会再代码中运行,例如:#打印HelloWorldprint("HelloWorld")注释的方式:#python注释(快捷键:Ctrl+/(选中你想注释的代码就可全部注释掉))=========>单行注释''''print('hello') ''''''�......
  • python logurur日志用法记录
    importsysfromloguruimportloggerlogger.configure(handlers=[{"sink":sys.stderr,"format":"{time:YYYY-MM-DDHH:mm:ss.SSS}|<lvl>{level:8}</>|{name}:{module}:{line:4}|<cyan>mymodu......
  • python装饰器
    目录函数可以作为参数函数可以作为返回值装饰器方法装饰器类装饰器函数可以作为参数函数本身在python里面是一个对象,也可以作为参数被传入另一个参数里.defdouble(x): returnx*2deftriple(x): returnx*3defcalc_number(func,x): print(func(x)) calc_number(......
  • [爬虫]2.2.2 使用PhantomJS处理JavaScript
    PhantomJS是一个无头(headless)浏览器,它可以解析和执行JavaScript,非常适合用于爬取动态网页。"无头"意味着它可以在没有用户界面的情况下运行,这对于服务器环境和自动化任务非常有用。安装PhantomJS首先,你需要下载并安装PhantomJS。你可以从官方网站下载↗适合你的操作系统的版本......
  • 盘点一个通过python大批量插入数据到数据库的方法
    大家好,我是皮皮。一、前言前几天在Python白银群【鶏啊鶏】问了一个Python数据存入数据库的问题,一起来看看吧。各位大佬我想请教下通过python大批量插入数据到数据库的方法目前我在用的操作是以下这个模式:sql=''foriinlist:sql="insertXXX表(地址,单号,缸号,状态,备......
  • python 函数 定义参数类型
    Python函数参数类型的定义在Python中,函数是一种非常重要的编程概念,它可以将一段代码逻辑封装成一个可重复使用的块。函数的参数类型的定义对于函数的正确使用和调用至关重要。本文将介绍Python中函数参数类型的定义方法,并给出一些代码示例。为什么要定义函数参数类型Python......
  • python 固定长度数组
    python固定长度数组在Python中,数组是一种常见的数据结构,用于存储相同类型的元素。通常,我们可以使用列表(List)来表示数组。然而,Python中的列表是可变长度的,这意味着我们可以随时向列表中添加或删除元素。但在某些情况下,我们需要固定长度的数组,即不能增加或删除元素。本文将介绍如何......