首页 > 其他分享 >【爬虫】进一步提取图片url,下载图片

【爬虫】进一步提取图片url,下载图片

时间:2023-11-18 22:44:57浏览次数:41  
标签:img url image 爬虫 result data 图片

 

import requests from lxml import etree
url="https://pic.netbian.com/4kdongman/" domain="https://pic.netbian.com/" data=requests.get(url)
#print(data.text) et=etree.HTML(data.text) res=et.xpath("//div[@class='slist']/ul/li/a/@href") #print(res) image=[] for i in res:     img_addr=domain+i     img_data=requests.get(img_addr)     #print(img_data.text)     #print(domain+i)     new_et=etree.HTML(img_data.text)     result=new_et.xpath("//div[@class='photo-pic']/a/img/@src")     result=domain+''.join(result)  #将列表转成字符串,然后加上域名     image.append(result)      #将图片地址存起来     print(result)     #下载图片 for url in image:     imge_res=requests.get(url) #对图片发送url请求     image_con=imge_res.content #拿到图片的字节数据     name=url.split("/")[-1]  #获取图片名字     with open(f"E:\爬虫\picture\{name}",'wb') as f:         f.write(image_con) 这里下载图片是用字节读取的方式,下面的两个for循环是对上一次得到的提取到的页面源代码进行正则匹配,找到真正图片的url

上次得到的html是这样子,还得查看页面源代码,找到真正图片url

然后用xpath提取,再用字节写入成文件就行

标签:img,url,image,爬虫,result,data,图片
From: https://www.cnblogs.com/GGbomb/p/17841411.html

相关文章

  • 今日头条我的收藏爬虫
    背景:今日头题我的收藏搜索功能很弱,收藏的文章在pc/手机上总是如法全部搜索出来。也给头条反馈了很多次,总是不搭理。实在忍受不了这种敷衍,决定自己写一个爬虫。 思路: 先解决有无问题,做一个最基础版本。、头条我的收藏是是get请求,返回的是json格式数据,直接使用requests发......
  • 驾驶舱图片
     ......
  • 互联网图片抓取
    1.互联网图片抓取 说明:图片、音频、视频在计算机中以二进制方式存储 实现:找到所在图片的URL地址、想图片URL地址发送请求,获取二进制响应内容(bytes)、 正常打开文件,将响应内容以wb方式保存到本地requests模块:html=requests.get(url=url,headers=headers).text 响应对象(......
  • 微博cookie批量自动私信脚本,协议版,可发图片文字,用鱼刺模块开发!
    这个软件我也开源出来,包括DLL部分,程序集,完整的都分享给大家,方便大家学习一下代码的结构和运行原理,很多人都会开发这类的软件,但是都调用了填表模块,协议的很少会,那么这个软件就是一个非常不错的一个参考案例,仅供学习哈。UI部分: 程序集代码:===================================......
  • 有没有好用免费的图片转PDF网站?这7个建议收藏
    1PDF24Tools这个网站支持很多PDF相关的操作,包括:PDF合并、PDF分割、PDF压缩、PDF编辑、PDF签署、PDF转换器、图片转PDF、PDF转图像、从PDF文件中提取图像、用密码保护PDF、移除PDF密码保护、旋转PDF页面、删除PDF页面、提取PDF页面、重新排列PDF页面、网......
  • 前端歌谣的刷题之路-第七十二题- url地址
       ↵前言我是歌谣我有个兄弟巅峰的时候排名c站总榜19叫前端小歌谣曾经我花了三年的时间创作了他现在我要用五年的时间超越他今天又是接近兄弟的一天人生难免坎坷大不了从头再来歌谣的意志是永恒的放弃很容易但是坚持一定很酷本题目源自于牛客网微信公众号前端小歌......
  • URL中%数字表示符号对照
    HTMLEncodingReferenceURL-encoding:ASCIICharacter%20:space%21:!%22:“%23:#%24:$%25:%%26:&%27:‘%28:(%29:)%2A:*%2B:+%2C:,%2D:–%2E:.%2F:/%30:0%31:1%32:2%33:3%34:4%35:5%36:6%37:7......
  • 微信小程序使用canvas导出图片时提示报错为canvasToTempFilePath:fail fail canvas is
    uni使用小程序时,组件里面有个canvas,页面上面也有一个canvs。组件里面的canvas想导出图片,报canvasToTempFilePath:failfailcanvasisempty。在canvasToTempFilePath里面要加上第二个参数,传入this;uni.canvasToTempFilePath({canvasId:"canvas"......
  • failed to configure a datasource: ‘url‘ attribute is not specified and no em
    问题场景在SpringBoot中整合MySQL、Mybatis进行数据库开发时,按照正常步骤添加了相关数据库的依赖,也进行了必要的数据库配置,结果在项目启动时出现如下异常信息:***************************APPLICATIONFAILEDTOSTART***************************Description:Failedto......
  • beego:将服务器上的图片显示到客户端浏览器
    来源:http://www.shanhubei.com/archives/2840.html将服务器上的图片显示到客户端浏览器//@Title//@Description显示图片//@Paramnumquerystringtrue比如:图片名字20181120164548_75_jd.jpg//@Success200//@router/ShowImage[get]func(u......