首页 > 其他分享 >scrapy数据解析

scrapy数据解析

时间:2024-03-02 11:33:46浏览次数:20  
标签:xpath www name scrapy print div 解析 数据

import scrapy


class DouSpider(scrapy.Spider):
    name = "dou"
    #allowed_domains = ["www.douban.com"]
    start_urls = ["https://www.douban.com/doulist/113652271/"]

    def parse(self, response):
        div_ = response.xpath('/html/body/div[3]/div[1]/div/div[1]')
        div_list = div_.xpath('./div[contains(@class, "doulist-item")]')
        for div in div_list:
            # print(div)
            print(div)
            name = div.xpath('./div/div[2]/div[2]/a/text()')[0].extract()
            content = div.xpath('./div/div[2]/div[4]/text()').extract_first()
            print(name ,content)

标签:xpath,www,name,scrapy,print,div,解析,数据
From: https://www.cnblogs.com/lin513/p/18048435

相关文章

  • sqlserver数据库还原
    USE[master];GORESTOREFILELISTONLYFROMDISK='E:\SqlServer\最新数据库\GLASS_2024-03-02.bak'--查询bak备份信息--关闭链接ALTERDATABASE[GLASS]SETOFFLINEWITHROLLBACKIMMEDIATERESTOREDATABASEGLASS......
  • Lazada电商api接口 获取商品详情 数据采集
    iDataRiver平台https://www.idatariver.com/zh-cn/提供开箱即用的Lazada电商数据采集API,供用户按需调用。接口使用详情请参考Lazada接口文档接口列表获取用户详情参数类型是否必填默认值示例值描述apikeystring是idr_***从控制台里复制apikeyitem_idn......
  • 【计算机网络】数据链路层——流量控制&可靠传输机制
    数据链路层的流量控制较高的发送速度和较低的接收能力的不匹配,会造成传输出错,因此流量控制也是数据链路层的一项重要工作。数据链路层的流量控制是点对点的,而传输层的流量控制是端到端的。数据链路层流量控制手段:接收方收不下就不回复确认。传输层流量控制手段:接收端给发送......
  • 高速数据采集卡在宽带实时频谱分析中应用
    简介QT7012+QT7125+是一款支持交流耦合宽带信号输入的高精度高速数据采集卡,它具有12bit分辨率、2通道和5GSPS采样率的指标。板载FPGA具备实时信号处理能力,可以进行大数据量的实时信号处理,配备宽带实时频谱分析功能,频率范围10MHz~8GHz,实时频谱分析带宽500MHz;具备外部参考时钟输入......
  • 【计算机网络】数据链路层概述
    数据链路层功能概述研究思想基本概念术语结点:主机、路由器链路:网络中两个结点之间的物理通道,链路的传输介质主要有双绞线、光纤和微波。分为有线链路、无线链路。数据链路:网络中两个结点之间的逻辑通道,把实现控制数据传输协议的硬件和软件加到链路上就构成数据链路。帧:......
  • 【计算机网络】数据链路层——差错控制
    差错控制(检错)差错从何而来?概括来说,传输中的差错都是由于噪声引起的。全局性由于线路本身电气特性所产生的随机噪声(热噪声),是信道固有的,随机存在的。解决办法:提高信噪比来减少或避免干扰。(对传感器下手)局部性外界特定的短暂原因所造成的冲击噪声,是产生差错的主要原......
  • Python贝叶斯回归分析住房负担能力数据集|附代码数据
    原文链接:http://tecdat.cn/?p=11664最近我们被客户要求撰写关于贝叶斯回归的研究报告,包括一些图形和统计输出。我想研究如何使用pymc3在贝叶斯框架内进行线性回归。根据从数据中学到的知识进行推断 贝叶斯规则是什么? 本质上,我们必须将已经知道的知识与世界上的事实相结合。......
  • 【专题】中国智能汽车产业发展与展望报告PDF合集分享(附原数据表)
    原文链接:https://tecdat.cn/?p=34111随着新一轮技术革命和产业变革的推动,以及国家政策的大力扶持,电动化、智能化、网联化已经成为汽车行业发展的新趋势。在这种背景下,各大企业纷纷争夺数字化人才,以推动产品的规模化落地和商业化创新应用。阅读原文,获取专题报告合集全文,解锁文末53......
  • 用SPSS估计HLM多层(层次)线性模型模型|附代码数据
    原文链接:http://tecdat.cn/?p=3230作为第一步,从一个不包含协变量的空模型开始 ( 点击文末“阅读原文”获取完整代码数据******** )。每所学校的截距,β0J,然后设置为平均,γ00,和随机误差ü0J。将(2)代入(1)产生要在SPSS中进行估算,请转至分析→混合模型→线性...相关视频**......
  • R语言建立和可视化混合效应模型mixed effect model|附代码数据
    全文下载链接:http://tecdat.cn/?p=20631最近我们被客户要求撰写关于混合效应模型的研究报告,包括一些图形和统计输出我们已经学习了如何处理混合效应模型。本文的重点是如何建立和_可视化_ 混合效应模型的结果设置本文使用数据集,用于探索草食动物种群对珊瑚覆盖的影响。 ......