scrapy命令

scrapy常用命令：

1. scrapy startproject project_name：创建一个新的 Scrapy 项目。

2. scrapy genspider spider_name domain：创建一个新的 Scrapy 爬虫。

3. scrapy crawl spider_name：运行指定的 Scrapy 爬虫。

4. scrapy list：列出当前 Scrapy 项目中所有可用的爬虫。

5. scrapy shell url：打开一个 Scrapy shell，以便在命令行中进行调试和测试。

6. scrapy view url：在默认浏览器中打开指定的 URL。

7. scrapy version：显示当前 Scrapy 的版本信息。

scrapy高级命令：

1. scrapy crawl spider_name -o output_file.json：将爬取的数据保存到指定的 JSON 文件中。

2. scrapy crawl spider_name -o output_file.csv：将爬取的数据保存到指定的 CSV 文件中。

3. scrapy crawl spider_name -s LOG_FILE=log_file.log：将日志输出到指定的文件中。

4. scrapy crawl spider_name -s JOBDIR=job_directory：将作业的中间状态保存到指定的目录中。

5. scrapy crawl spider_name -a argument_name=value：将参数传递给 Scrapy 爬虫。

crawl模板命令：

1. scrapy startproject -d template_path project_name：使用指定的模板路径创建一个新的 Scrapy 项目。

2. scrapy genspider -t crawl spider_name domain：使用crawl模板创建一个新的 Scrapy 爬虫。

3. scrapy deploy -l：列出当前可用的 Scrapy 项目部署目标。

4. scrapy deploy -d target_name：将当前 Scrapy 项目部署到指定的目标。