爬虫概念篇

爬虫是什么
爬虫可以做什么
1）收集数据
2）尽职调查
3）刷流量和秒杀
爬虫开发中有哪些技术
爬虫主要目的是获取网页内容并解析
获取网页：
1）一个是requests
2）另一个是爬虫框架Scrapy
解析网页内容：
1）正则表达式
2）XPath
3）BeautifulSoup
常规反爬虫措施:
访问频率检查
验证码
登录验证
行为检测
会将中间人攻击技术与爬虫结合在一起，把Android自动化测试技术与爬虫结合在一起，从而构造一个超级自动化爬虫，做到几乎无法被网站发现。