首页 > 其他分享 >写个简单的爬虫案例

写个简单的爬虫案例

时间:2024-06-16 15:30:32浏览次数:17  
标签:写个 url image 爬虫 案例 images path response 图片

以下是一个简单的爬虫案例,用于从网页上爬取图片并保存到本地:

```python
import requests
from bs4 import BeautifulSoup
import os

# 创建一个文件夹用于保存图片
if not os.path.exists('images'):
    os.makedirs('images')

# 网页URL
url = 'https://www.example.com'

# 发送HTTP请求
response = requests.get(url)

# 使用BeautifulSoup解析网页
soup = BeautifulSoup(response.text, 'html.parser')

# 找到所有的图片标签
images = soup.find_all('img')

# 遍历所有的图片标签
for image in images:
    # 获取图片URL
    image_url = image['src']
    
    # 发送HTTP请求下载图片
    image_response = requests.get(image_url)
    
    # 提取图片名称
    image_name = image_url.split('/')[-1]
    
    # 图片保存路径
    image_path = os.path.join('images', image_name)
    
    # 保存图片到本地
    with open(image_path, 'wb') as fp:
        fp.write(image_response.content)
    
    print(f'{image_name} 下载完成!')
```

请注意,这只是一个简单的示例,用于展示爬虫的基本原理和操作步骤。实际使用爬虫时,请遵守法律法规,并尊重网站的使用规则和隐私政策。

标签:写个,url,image,爬虫,案例,images,path,response,图片
From: https://blog.csdn.net/GaoXinPan/article/details/139720877

相关文章

  • 爬虫 | 异步请求aiohttp模块
    aiohttp模块,也就是asynciohttp操作#1.创建一个对象aioreq=aiohttp.ClientSession()>>>即对应异步的requests#2.用这个异步requests来发送请求resp=aioreq.get(url)#3.异步写入文件,用到aiofiles模块,pip安装,可学习:https://www.w3cschool.cn/article/86236403.h......
  • python 小爬虫 DrissionPage+BeautifulSoup
    哈喽,大家好,我要开始写博客啦......
  • Flask 的异步用法案例
    Flask的异步用法案例。案例1:异步视图异步视图允许你使用asyncdef定义路由处理函数,这在处理I/O密集型任务时非常有用。fromflaskimportFlaskimportasyncioapp=Flask(__name__)@app.route('/async-data')asyncdefget_async_data():#模拟异步操作,例如......
  • MATLAB算法实战应用案例精讲-【数模应用】事后多重比较(附python、MATLAB和R语言代码实
    目录几个高频面试题目事后检验,多重比较,简单效应分析有什么区别?事后多重对比如何使用?算法原理SPSSAU疑难解惑提示‘数据质量异常’如何解决?如何做Dunnett法事后多重比较?方差分析事后多重比较提供‘字母标记法!’?关于方差分析时的效应量?字母标记法时没有输出结果?......
  • Python爬虫案例:从某居网爬取房源信息
    网站链接:sjz.anjuke.com目标数据:位置、面积、价格、房源链接约束条件:房产价格在80-140w首先在浏览器上输入网址,通过鼠标右键-“检查”来确定各网页元素在html源代码中的位置和构成​通过检查导航的价格索引,找出了80-140w的房源信息的网页链接,url依次以13-15结尾并且其它数......
  • python学习 - for循环 各种使用技巧 案例代码
    #!/usr/bin/python#-*-coding:UTF-8-*-forletterin'Python':#第一个实例print'当前字母:',letterfruits=['banana','apple','mango']forfruitinfruits:#第二个实例print'当前水果:',fr......
  • python学习 - 读取xls文件的操作案例代码
    #!/usr/bin/evnpython#-*-encoding:utf-8-*-importxlrdimportxlwtimportxlutils.copyclassExcels:defcreateExcel(self):workbook=xlwt.Workbook()sheet=workbook.add_sheet(u"sheet页名称",cell_overwrite_ok=True)......
  • python学习 - 操作redis数据库常用指令 案例
    #-*-coding:UTF-8-*-importredisimporttimeclassTestRedis:def__init__(self):self.dbconn=NonedefopenRedis(self):#连接redis,加上decode_responses=True,写入的键值对中的value为str类型,不加这个参数写入的则为字节类型。......
  • Spring基础 - SpringMVC请求流程和案例
    前文我们介绍了Spring框架和Spring框架中最为重要的两个技术点(IOC和AOP),那我们如何更好的构建上层的应用呢(比如web应用),这便是SpringMVC;SpringMVC是Spring在SpringContainerCore和AOP等技术基础上,遵循上述WebMVC的规范推出的web开发框架,目的是为了简化Java栈的web开发。......
  • 推荐 | 作物育种理论与案例分析(第二版)
    推荐一本理论与实践相结合的作物育种教材——《作物育种理论与案例分析(第二版)》,由科学出版社2022-03出版,作为“十三五”普通高等教育研究生规划教材、创新型现代农林院校研究生系列教材、全国农业专业学位研究生教育指导委员会推荐教材。该书由中国农业大学校长孙其信院士主编,总......