1,pip/pip3 install scrapy
命令框输入scrapy
报错的话/不是内部命令,先pip unstall scrapy卸载,然后再安装,找到报错信息warning,那边有一个·地址,添加到环境变量path中。再运行scrapy,如果还不是内部命令的话,跟着刚刚保存的路径,找到/scripts,复制这个的路径,去path中粘贴。重新输入scrapy。
2.scrapy startproject <项目名称>
会给你一个地址,通过pycharm打开这个文件。
文件的作用:item.py 自己预计要爬取的内容
middlewares.py 自定义中间件的文件
pipelines.py 管道保存数据
settings.py 设置文件,ua,启动管理
spiders 自己定义的spiders文件夹
scrapy.cfg 项目的配置文件
3.创建爬虫
在项目路径下输入 scrapy genspider <爬虫名字> <允许爬虫的域名>
标签:文件,框架,py,爬虫,scrapy,报错,pip From: https://www.cnblogs.com/dijia9723/p/16840244.html