使用C#编写的爬虫程序,用于爬取美图录网站上的图片内容。使用了HttpClient和Json.Net库。
using System;
using System.Net.Http;
using System.Threading.Tasks;
using Newtonsoft.Json.Linq;
http://www.jshk.com.cn/mb/reg.asp?kefu=xiaoding;//爬虫IP免费获取;
class Program
{
static void Main(string[] args)
{
string url = "https://www.meitu.com/pics";
string proxyHost = "www.duoip.cn";
int proxyPort = 8000;
HttpClient client = new HttpClient();
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0");
// 设置代理
client.DefaultProxy = new WebProxy($"{proxyHost}:{proxyPort}");
client.DefaultProxy.Credentials = CredentialCache.DefaultCredentials;
// 发送GET请求
string json = await client.GetStringAsync(url);
// 解析JSON数据
JObject obj = JObject.Parse(json);
// 获取图片链接
string picUrl = (string)obj["data"]["picUrl"];
// 将图片链接下载到本地
string filePath = "C:\\pic.jpg";
await client.DownloadFileAsync(picUrl, filePath);
}
}
在这段代码中,我们首先定义了我们要爬取的网页URL,并设置了代理信息。然后,我们创建了一个HttpClient对象,并设置其User-Agent为Mozilla/5.0,以模拟浏览器发送请求。
接着,我们使用HttpClient对象的GetStringAsync方法,发送一个GET请求到指定的URL,并获取返回的HTML内容。
然后,我们将获取的HTML内容解析为JSON格式,并获取其中的图片链接。
最后,我们将图片链接下载到本地。
标签:www,精美图片,C#,取美,client,using,图片链接,string,HttpClient From: https://blog.51cto.com/u_16479648/9156942