有老板找我开发的一套鲁班乐标数据下载程序,其实就是一套爬虫程序,作为一名资深码农来说这事不难,只是对方需要一个软件操作界面,希望自定义爬取条件。
刚开始我第一个想到的是用Python来写,但是对方需要一个操作界面,当然Python也可以完成,由于我主要还是C# .Net为主,因此想到用C#开发试试,C#的界面设计更加方便。
首先看一下界面
数据其实就是通过网页获取,因此得到API接口以后,提取出这三个参数“筛选条件、Token、Cookie”,然后使用System.Net.Http.HttpClient 进行HTTP请求即可。
虽然爬虫程序主要还是Python,但是C#其实效率也不低,如果服务器顶得住一分钟100条一点问题没得。
鲁班乐标数据下载、鲁班乐标数据爬取、鲁班乐标爬虫程序
有需要的老板薇~我:EvanYu1201
标签:C#,鲁班,程序,抓取,爬虫,Python,乐标 From: https://www.cnblogs.com/EvanYu/p/18044451