命令参考：https://github.com/scrapy/scrapyd-client
https://scrapyd.readthedocs.io
安装组件
pip install scrapyd
pip install scrapyd-client
Scrapyd服务器端
服务器端是可以有多个的，你爱多少个就搞多少个服务器端。部署scrapy时，可以手动指定部署到那个目标服务器端中。
scrapyd配置文件：
https://scrapyd.readthedocs.io/en/latest/config.html
可以支持基础的http basic认证。
最多也就是改一下监听的IP地址和端口。
启动服务器端：
scrapyd
Scrapyd-client客户端
提供了
Command line tools命令行工具:
scrapyd-deploy, to deploy your project to a Scrapyd server。- 用于部署scrapy项目到scrapyd服务器中。
scrapyd-client, to interact with your project once deployed。- 用于与部署后的项目进行交互、管理。
Python client:
ScrapydClient, to interact with Scrapyd within your python code- 用于自己编写python代码与scrapyd服务器交互。（除非你有特殊需求，比如自己开发web管理，否则用不上啦）
部署项目实例（这里只是部署，启动时另外一回事）
- 确保scrapyd服务端已经启动。
- 修改项目的scrapy.cfg文件。
# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html
[settings]
default = zolwallpaper.settings
;[deploy] ;默认是只有一个项目的，如果有多个项目和目标服务器，则用deploy:target来区分
;demo1 是指定目标服务器端的名字
[deploy:demo1]
; 这个URL指定的是scrapyd服务器的URL地址
url = http://localhost:6800/
; 如果你的scrapyd服务器端开启了http basic认证，则在这里填写密码
; username = scrapy
; password = secret
# 项目名
project = zolwallpaper
- cd到项目的根目录，执行命令：
scrapyd-deploy <target> -p <项目名>
target：可要可不要，不填默认为default，如果要填就填你自己设置的，比如我这里设置demo1
项目名：是你在scrapy.cfg中设置的名称
例如：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper>scrapyd-deploy.exe demo1 -p zolwallpaper
Packing version 1687237821
Deploying to project "zolwallpaper" in http://localhost:6800/addversion.json
Server response (200):
{"node_name": "xxxx", "status": "ok", "project": "zolwallpaper", "version": "1687237821", "spiders": 2}
scrapy-deploy部署命令
部署项目到某个目标服务器：
scrapyd-deploy <target> -p <项目名>
target:不指定的话就默认给你命名为default
部署项目到所有可用的目标服务器
scrapyd-deploy -a -p <project>
列出所有的可用的scrapyd服务器列表
命令：
scrapyd-deploy -l
案例：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper> scrapyd-deploy.exe -l
demo1 http://localhost:6800/
列出某个目标服务器下的所有项目
scrapyd-deploy -L example
案例：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper> scrapyd-deploy.exe -L demo1
zolwallpaper
default
scrapy-client管理命令
搞清楚几个概念：
target：scrapyd服务器端；
project：爬虫项目；
一个项目下可以有多个爬虫。
常用命令：
列出当前的所有爬虫项目
命令：
scrapyd-client projects
scrapyd-client -t http://127.0.0.1:6800 projects
案例：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper> scrapyd-client -t http://127.0.0.1:6800 projects
zolwallpaper
default
列出指定目标服务下的某个项目的所有爬虫
命令：
scrapyd-client spiders -p [项目名称]
scrapyd-client.exe [-t http://127.0.0.1:6800] spiders -p zolwallpaper
案例：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper> scrapyd-client.exe spiders -p zolwallpaper
zolwallpaper: # 项目名
bang123 # 该项目下的爬虫
zol # 该项目下的爬虫
运行爬虫
方式一：通过scrapyd-client（这玩意其实就是封装了scrapyd的api....）
scrapyd-client schedule -p [项目名] [爬虫名]
**# 可以动态的传递settings某个设置，然后你就可以在爬虫中读取某个设置项的值，从而实现动态爬虫你想要的关键字等功能**
scrapyd-client schedule -p zolwallpaper bang123** --args 'setting=DOWNLOADER_MIDDLEWARES={"my.middleware.MyDownloader": 610}'**
# CURL版：curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1
案例：
scrapyd-client -t http://127.0.0.1:6800 schedule -p zolwallpaper bang123
他妈的，没有关闭爬虫的？做这个开发的人你多一个功能会死....？
所以只能用scrapyd自带的api来取消正在运行的爬虫
https://scrapyd.readthedocs.io/en/latest/api.html#cancel-json
发送post请求：
http://127.0.0.1:6800/cancel.json?job=<任务ID>&project=<项目名>