首页 > 其他分享 >爬某豆瓣读书 Top 250

爬某豆瓣读书 Top 250

时间:2022-08-31 19:00:43浏览次数:46  
标签:xpath lp text Top class 豆瓣 str 250 qwe

import re
import time

import requests
from lxml import etree

#爬某豆瓣读书 Top 250
#浏览器的代理
#在网址上输入about://version 浏览器的代理
cz={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.70'}

io=0
for i in range(1,10):
 #遍历网页
 zxc_lp='https://book.douban.com/top250?start='+str(io)
 asd=requests.get(zxc_lp,headers=cz).text
 qwe=etree.HTML(asd)



 c='//*[@valign="top"]/p/text()' #书名
 lp11='//*[@class="star clearfix"]/span[2]/text()' #作者,出版社,日期,
 lp111='//*[@class="star clearfix"]/span[3]/text()'#多少人评价
 lp1111='//*[@class="inq"]/text()'#名句
 lp11111='//*[@class="nbg"]/img/@src'##图片

 asd1=qwe.xpath('//*[@class="pl2"]/a/@title')
 lp=qwe.xpath(c)
 lp1=qwe.xpath(lp11)
 lp12=qwe.xpath(lp111)
 lp13=qwe.xpath(lp1111)
 lp14=qwe.xpath(lp11111)



# 去除空格和换行
 zxc33=[str(i1).strip() for i1 in lp if str(i1).strip()!='']
 qwe=[str(i2).strip() for i2 in asd1 if str(i2).strip()!='']

 qwe11=[str(i4).replace(' ','').split('\n') for i4 in lp12]
 #['(',
 # '66963人评价'
 # ,           ')']
 '替换空格 位 空 在删除换行之后'
 # ['(', '66963人评价', ')']

 for a1,a2,a3,a4,a5,a6 in zip(qwe,zxc33,lp1,qwe11,lp13,lp14):
    print(f'作者:{a1},作者,出版社,日期:{a2},评分:{a3} ,评价{a4},名句:{a5} 图片地址:'+str(a6))
 io+=25

 

标签:xpath,lp,text,Top,class,豆瓣,str,250,qwe
From: https://www.cnblogs.com/xxh12/p/16644230.html

相关文章

  • 【debug】 Linux中top的使用
    在我们日常的开发中,我们经常需要查看每个线程的cpu使用情况。其实,在linux中,top也是我们查看cpu使用状况的一个好帮手top:先查看每一个进程的使用状况我们可以发现PID:38......
  • stopPropagation, preventDefault 和 return false 的区别
    stopPropagation阻止事件的冒泡和捕获。因为事件可以在各层级的节点中传递,不管是冒泡还是捕获,有时我们希望事件在特定节点执行完之后不再传递,可以使用事件对象的s......
  • 拓扑排序(topsort)
    给定一个n个点m条边的有向图,点的编号是1到n,图中可能存在重边和自环。请输出任意一个该有向图的拓扑序列,如果拓扑序列不存在,则输出−1。若一个由图中所有点构成......
  • 国产浏览器中的Top1
    随着不同产品的涌出,满足了用户的各种需求,也使产品的可替代性提高了,我们针对用户的需求设计了一款超前的浏览器,星海浏览器是一款针对年轻人群体,能够无障碍访问全球站点的便......
  • 解析OCC几何体(TopoDS_Shape)生成自定义off文件(转)
    voidParseTopoDSShapeToOff(constTopoDS_Shape&aShape){//0计算顶点和顶点索引//std::vector<osg::Vec3d>vertexArray;BRepMesh_IncrementalMesh(aSh......
  • 7.4 SQL Server SELECT TOP
    SQLServerSELECTTOP目录SQLServerSELECTTOPSELECTTOP简介SELECTTOP示例1)使用具有固定值的TOP2)使用TOP返回行的百分比3)使用TOPWITHTIES来包括与最后一行中的......
  • Today's topic-selling your thins
    GroupLessonTodayisSaturday,August27,2022Welcometoourclass!MynameisLuke,andIwillbeyourteachertoday.IamoriginallyfromBostonintheUni......
  • JTS TopologyException 问题
    计算2个几何相交结果时候,报错了:valgeometry=polygon.intersection(lineString)日志如下org.locationtech.jts.geom.TopologyException:foundnon-nodedintersecti......
  • c#通过表达式树优雅的实现分组取TopN笔记
    需要引入nuget包来实现ef.functions调用row_numberThinktecture.EntityFrameworkCore.SqlServer调用方式://顺排context.Table.GroupBySortTop(1,x=>x.partitionP......
  • 阻止冒泡事件 stopPropagation方法
    stopPropagation调用此方法就会阻止事件的冒泡,使用到的场景大多为某个父元素和元素本身绑定了相同事件时。<style>.list{width:300px;margin:0auto;......