1、安装scrapy pip包的管理工具
pip install scrapy（在cmd中下载）
win+r键输入cmd 进入命令行
2.scrapy介绍
它是由五部分组成
引擎 下载器 spider 中间件 管道
你只需要知道spider即可 因为所有代码都在这里面
管道是处理数据的 框架定义好接口 调用就可以了
3.xpath
网页的组成 结构(html) 表现(css) 行为(js)
4.创建scrapy项目
scrapy startproject quotesSpider（cmd中）
scrapy startproject 项目名
__init__.py 初始化文件
items.py 数据模型
middlewares.py 中间件
pipelines.py 管道
settings.py 配置文件
5.创建爬虫文件
cd quotesSpider/quotesSpider（在cmd中）
scrapy genspider quotes "quotes.toscrape.com"（cmd中）
6.运行爬虫文件
scrapy crawl quotes
7.生成json文件
scrapy crawl quotes -o quotes.json（cmd运行 python中会出现json文件）
8.xpath使用
//div 代表找到所有的div标签
/div 代表找到所有的子标签 并且名字为div
/div[n] 代表 找到父级元素下的第n个子标签 并且名字为div（下标从1开始）
div[@class="box"] 找到具有class属性 并且名字为box的div标签
cd 文件将文件拖进cmd中 会出现路径
设置python环境
出现scrapy 鼠标指向scrapy单击使用alt+enter添加 需要的包。
在pass后输入
quotes = response.xpath("//div[@class='quote']") for quote in quotes: # 迭代器 yield { "text":quote.xpath("span[@class='text']/text()").extract_first(), "author":quote.xpath("span[2]/small/text()").extract_first() }
打开这个网站使用f12或者右键检查会发现我们要的数据
爬出出数据成功。
