首页 > 其他分享 >数据建模

数据建模

时间:2022-10-30 19:12:15浏览次数:57  
标签:__ 建模 item scrapy Myspider01Item 报错 数据

在item.py文件中进行数据建模

数据建模的原因:1.定义item前需要规划要抓取哪些数据,防止手误。在运行过程中,系统会自动检查  

        2,配合注释可以一起清晰的知道抓取哪些数据,没有定义的数据不能抓,在目标字段少的时候可以用字典代替。

        3.使用scrapy的一定特定组件需要item进行支持,如scrapy的imagePipeline管道类。

class Myspider01Item(scrapy.Item):
# define the fields for your item here like:

name = scrapy.Field()

title = scrapy.Field()

desc = scrapy.Field()

if __name__ == '__main__':
item = Myspider01Item()
item['name'] = '王老师',
item['title'] = '十大大苏打',
item['desc'] = '防守对方的公然否认施工图色发射点'
print(item)
运行一下,在这里我报错了一个xcd non-utf-8的错误,在首行添加coding:utf-8

在itcast.py中导入from myspider01.items import Myspider01Item
实例化对象  
item = Myspider01Item()
然后将所有的temp改成item

命令行运行报错,找到报错信息原因是item不是字典,来到pipeline中强转为字典,item=dict(item)

标签:__,建模,item,scrapy,Myspider01Item,报错,数据
From: https://www.cnblogs.com/dijia9723/p/16841936.html

相关文章