在item.py文件中进行数据建模
数据建模的原因:1.定义item前需要规划要抓取哪些数据,防止手误。在运行过程中,系统会自动检查
2,配合注释可以一起清晰的知道抓取哪些数据,没有定义的数据不能抓,在目标字段少的时候可以用字典代替。
3.使用scrapy的一定特定组件需要item进行支持,如scrapy的imagePipeline管道类。
class Myspider01Item(scrapy.Item):
# define the fields for your item here like:
name = scrapy.Field()
title = scrapy.Field()
desc = scrapy.Field()
if __name__ == '__main__':
item = Myspider01Item()
item['name'] = '王老师',
item['title'] = '十大大苏打',
item['desc'] = '防守对方的公然否认施工图色发射点'
print(item)
运行一下,在这里我报错了一个xcd non-utf-8的错误,在首行添加coding:utf-8
在itcast.py中导入from myspider01.items import Myspider01Item
实例化对象
item = Myspider01Item()
然后将所有的temp改成item
标签:__,建模,item,scrapy,Myspider01Item,报错,数据 From: https://www.cnblogs.com/dijia9723/p/16841936.html
命令行运行报错,找到报错信息原因是item不是字典,来到pipeline中强转为字典,item=dict(item)