首页 > 其他分享 >scrapy爬虫框架

scrapy爬虫框架

时间:2022-10-29 23:44:48浏览次数:71  
标签:文件 框架 py 爬虫 scrapy 报错 pip

1,pip/pip3 install scrapy

  命令框输入scrapy

    报错的话/不是内部命令,先pip unstall scrapy卸载,然后再安装,找到报错信息warning,那边有一个·地址,添加到环境变量path中。再运行scrapy,如果还不是内部命令的话,跟着刚刚保存的路径,找到/scripts,复制这个的路径,去path中粘贴。重新输入scrapy。

2.scrapy startproject <项目名称>

        会给你一个地址,通过pycharm打开这个文件。

            文件的作用:item.py 自己预计要爬取的内容

                  middlewares.py 自定义中间件的文件

                  pipelines.py 管道保存数据

                  settings.py  设置文件,ua,启动管理

                  spiders 自己定义的spiders文件夹

                  scrapy.cfg 项目的配置文件

3.创建爬虫

  在项目路径下输入   scrapy genspider <爬虫名字> <允许爬虫的域名>

 

 

 

标签:文件,框架,py,爬虫,scrapy,报错,pip
From: https://www.cnblogs.com/dijia9723/p/16840244.html

相关文章