第一篇：爬虫基本原理第二篇：环境安装与搭建第三篇：网页抓取：urllib，requests，aiohttp，selenium，Splash第四篇：网页解析：re，lxml，BeautifulSoup，pyquery第五篇：数据存储：JSON，XML，CSV，Mysql，Mongodb，Redis第六篇：高性能爬虫：第七篇：Web组件：Flask，Tornado第八篇：反爬之验证码破解：Tesserocr，滑动验证码破

Gerapy分布式部署搭建远程服务器的环境装好带docker服务的系统Docker:容器可生成镜像，也可拉去镜像生成容器示例：将一个环境打包上传到云端(远程服务器)，其他8个服务器需要这个环境直接向云端拉取镜像生成容器,进而使用该环境,比如有MYSQL的镜像、Redis的镜像备注：Linux系统下

scrapyd_clientdeploy提供了对于开发的spider的打包，同时push到scrapydserver中，因为python的特殊性，我们开发的spider可能有依赖，scrapyd_client会结合实际命令打包应用为是否包含依赖的egg包egg包处理对于egg包处理，scrapyd_clientdeploy会先检查spider项目中是否包

安装scrapyd服务pipinstallscrapyd-ihttps://pypi.tuna.tsinghua.edu.cn/simple官方文档安装pipinstallscrapyd-client官方文档scrapy-deploy部署建setup.pyfromsetuptoolsimportsetup,find_packagessetup(name='project',version='1.0'

命令参考：https://github.com/scrapy/scrapyd-clienthttps://scrapyd.readthedocs.io安装组件pipinstallscrapydpipinstallscrapyd-clientScrapyd服务器端服务器端是可以有多个的，你爱多少个就搞多少个服务器端。部署scrapy时，可以手动指定部署到那个目标服务器端中。scr

前期准备--创建一个scrapy爬虫(以上海热线-热点新闻为例：https://hot.online.sh.cn/node/node_65634.htm）1.安装scrapy，scrapyd，scrapydwebpipinstallscrapypipinstallscrapydpipinstallscrapyd-clientpipinstallscrapydweb2.创建工程scrapystartprojectnewsspider3.创建n

scrapy项目部署scrapyd部署工具介绍scrapyd是一个用于部署和运行scrapy爬虫的程序，它由scrapy官方提供的。它允许你通过JSONAPI来部署爬虫项目和控制爬虫运行。所

项目地址https://github.com/crawler-studio/crawler-studio介绍Crawler-Studio是基于Scrapy、Scrapyd、Scrapyd-Client、Scrapyd-API、Django、DRF、Vue.js开发的一

13.Gerapy学习目标了解什么是Gerapy掌握Gerapy的安装掌握Gerapy配置启动掌握通过Gerapy配置管理scrapy项目1.Gerapy介绍:​ Gerapy是一款分布式爬虫管理框

爬虫项目部署1脚本文件部署linux内置的cron进程能帮我们实现这些需求，cron搭配shell脚本，非常复杂的指令也没有问题。1.1crontab的使用crontab[-uusername]/