首页 > 其他分享 >使用Faraday库采集微博图片

使用Faraday库采集微博图片

时间:2023-11-03 17:05:03浏览次数:35  
标签:src img URL 采集 微博 proxy faraday Faraday

使用Faraday库采集微博图片_css

之前我们写过一个微博采集程序,不是特别难,那么有朋友想让我用Faraday库来写一个微博的爬虫程序,还要用Ruby来采集微博的图片。果然,不费吹灰之力,它来了,一起来学习一下吧。

```ruby
require 'faraday'
require 'nokogiri'
proxy_host = 'https://www.duoip.cn/get_proxy'
proxy_port = 8000
# 创建一个Faraday实例,设置代理
faraday = Faraday.new do |faraday|
faraday.request :proxy, proxy_host, proxy_port
end
# 构建请求URL
url = 'https://weibo.com/'
# 发送GET请求
response = faraday.get url
# 使用Nokogiri解析响应内容
doc = Nokogiri::HTML(response.body)
# 遍历文档中的所有img标签
doc.css('img').each do |img|
# 获取img标签的src属性
src = img['src']
# 如果src属性不为空,则打印该图片的URL
puts src if src
end
```

那么上面的代码呢,首先引入了Faraday和Nokogiri库,然后创建了一个Faraday实例,并设置了代理。接着构建了请求的URL,发送了GET请求,并使用Nokogiri解析了相应内容。最后,遍历了文档中的所有img标签,并打印出了img标签的src属性(即图片的URL)。注意,如果src属性为空,则不会打印任何内容。希望这个程序能帮助你完成任务!

标签:src,img,URL,采集,微博,proxy,faraday,Faraday
From: https://blog.51cto.com/u_14448891/8172850

相关文章

  • 如何使用scrapy库编写一个滴滴采集程序
    今天给大家分享一个使用scrapy库的爬虫程序,并使用Python来爬取滴滴官网的视频。我个人觉得没什么太大的用,供大家学习一下吧。```pythonimportscrapyclassDidiglobalVideoSpider(scrapy.Spider):name='didiglobal_video'start_urls=['https://www.didiglobal.com/']#使......
  • Casablanca库编写爬虫采集苏宁视频
    昨天我们讲了一个采集苏宁易购视频的程序,有粉丝说有点复杂,那么今天我就用Casablanca库重新编写一个C++爬虫程序,来采集苏宁的视频,这个可更加简单,一起来学习一下吧。代码如下:```cppnamespacehttp=casablanca::http;namespaceio=boost::iostreams;namespacessl=casabl......
  • 如何使用HtmlUnit库采集天猫图片
    天猫阿里旗下一个优秀的购物平台,很多刚开始接触电商的朋友都一天猫为变准,用心打造自己的商品宝贝,天猫上面很多商家的精美图片也是我们用以效仿的好范本。今天我就用HtmlUnit库写一个用于采集天猫商品图片的爬虫,希望能对刚刚接触电商的朋友有所帮助。```javaimportcom.gargoylesof......
  • 利用HtmlAgilityPack库采集美图秀秀图片
    上次有个美女跟我说美图秀秀官网的图片都好漂亮,既然美女都开口了,我能说什么呢?于是,我就用HtmlAgilityPack库写了一个C#爬虫程序,专门来采集美图秀秀的图片,看着网站挺复杂,不过这个爬虫写起来倒是一点也不难,这就给大家分享。```csharpusingSystem;usingSystem.Net;usingHtmlAgili......
  • 如何使用Poco库采集阿里云信息
    阿里云是一个云主机平台,我们在购买云主机的时候,往往会因为挑选自己心意的产品而眼花缭乱。今天我就使用Poco库编写一个采集阿里云信息的程序,有了它,我们在挑选阿里云产品你轻松了许多,一起来看看吧。```cpp//引入Poco库#include<Poco/Net/HTTPClientSession.h>#include<Po......
  • 振弦采集读数模块如何连接设备
    振弦采集读数模块如何连接设备振弦采集读数模块是一种可以用来监测物体振动情况的设备,可以应用在机器运转状态监测、结构健康监测、地震测量等领域。它主要通过传感器对物体的振动进行监测,并将监测到的数据输出到计算机或其他设备上,以便进行分析和判断。 要使用振弦采集读数......
  • AirSim 自动驾驶仿真 (6) 设置采集参数和属性
    https://cloud.tencent.com/developer/article/20113841.配置文件在哪默认情况下,文件位于用户目录下的AirSim文件夹,比如在Windows下,文件位于C:\Users\admin\Documents\AirSim,如下。C:\Users\dongdong\Documents\AirSim  2.配置文件长什么样打开配置文件可以看到,这是一......
  • 通过tide库如何使用Rust语言采集汽车之家
    身边许多有车的朋友,在日常用车养车过程中,经常会碰到这样那样的问题,很多人都喜欢去汽车之家寻求帮助。那么今天,我将为大家带来的是使用tide库来编写的一个爬虫程序,并使用Rust语言来采集汽车之家的相关内容,不是特别难,有需要的朋友可以看看学习一下喔。```rustusetide::{Request,Re......
  • Go语言和net库结合,轻松搞定喜马拉雅视频采集
    昨天一个小哥问我,能不能用Go语言和net库编写一个采集喜马拉雅视频的采集程序,因为网站上有太多他需要的学习资源,所以来找我帮忙。我大概看了下网站策略,这个爬虫写起来不是特别难,现在就给大家简单分享一下。```gopackagemainimport("fmt""io/ioutil""net/http""net/url""str......
  • 如何通过HWebkit库配合Haskell语言采集链家图片
    链家是一个专业提供二手房源、楼盘等信息的网站,需要二手房的朋友,链家可是个首选的资源平台。今天我们将使用HWebkit库编写一个爬虫程序,然后使用Haskell语言来采集链家平台的相关图片,快来学习一下吧。```haskellimportNetwork.HTTP.Webkit--定义代理主机和端口proxyHost::Str......