首页 > 其他分享 >循环爬取页面信息

循环爬取页面信息

时间:2022-12-04 21:12:36浏览次数:37  
标签:img text li 爬取 ul 循环 div id 页面

#循环爬取起点中文网
import requests
from lxml import etree
ua={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'}
z = 1;
for i in range(2,5):
res=requests.get('https://www.qidian.com/all/page{}/'.format(i),headers=ua)
res.encoding='utf-8'
t=etree.HTML(res.text)
biaoti=t.xpath('//*[@id="book-img-text"]/ul/li/div[2]/h2/a/text()')
zuozhe=t.xpath('//*[@id="book-img-text"]/ul/li/div[2]/p[1]/a[1]/text()')
leixing=t.xpath('//*[@id="book-img-text"]/ul/li/div[2]/p[1]/a[2]/text()')
lianzai=t.xpath('//*[@id="book-img-text"]/ul/li/div[2]/p[1]/span/text()')
jianjie=t.xpath('//*[@id="book-img-text"]/ul/li/div[2]/p[2]/text()')
for a,b,c,d,e in zip(biaoti,zuozhe,leixing,lianzai,jianjie):
print(str(z)+" "+a+" "+b+" "+c+" "+d+" "+e+"\n")
z=z+1







标签:img,text,li,爬取,ul,循环,div,id,页面
From: https://www.cnblogs.com/txa2003/p/16950789.html

相关文章

  • 循环爬取页面并存储
    #循环爬取起点中文网并存储importrequestsfromlxmlimportetreeua={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko......
  • while 循环和until 循环
    格式:​格式一、​whileCOMMANDS;doCOMMANDS;done格式二、whileCONDITION;do循环体done​无限循环:whiletrue;do循环体donefor写发:for((:for((exp1;exp2;exp3......
  • 【JAVA】基于thymeleaf+bootstrap的页面嵌套
    网站中对于公共元素(如导航栏等)的使用,可以在页面使用th:insert标签嵌入对应的div等元素,以下展示一个简单的嵌套demo。即将导航栏、登入登出模态对话框作为公共元素引入,代码如......
  • Vue中优雅的更改iframe嵌入页面的样式
    通过外部引入css文件来控制嵌入页面的样式公共iframe组件封装传入属性:嵌入页面路径css文件名称(默认放在/static/css/下),默认css文件名可以自己定义,在确定嵌入页面不多,相......
  • 【Spring系列】- Spring循环依赖
    Spring循环依赖......
  • 【vue-router 4.x】使用addRoute加载动态路由时,刷新页面后出现空白页和控制台报错 [Vu
    "vue-router":"^4.1.6"遇到的问题动态路由刷新后,出现空白页动态路由刷新后,控制报错[VueRouterwarn]:Nomatchfoundforlocationwithpath"/***/index"1.动态......
  • 网站域名被QQ拦截提示:当前网页非官方页面拦截的解决办法
    今天网友提醒,星空站长​网的链接被QQ屏蔽拦截了。提示:当前页面非官方页面,请复制到浏览器打开。如图:原因:这是因为QQ方面的诈骗信息特别多,所以腾讯官方索性就直接屏蔽了所有的......
  • MUI关闭指定页面之外的其余页面
    有兴趣可以关注公众号:图计算与算法问题:最近在写一个类似微信的APP,基于mui来在android端以及ios端呈现,但是有个问题是在退出登录切换账号的时候发现app会加载之前的缓存......
  • JS_登录页面
    <!DOCTYPEhtml><html> <head> <metacharset="UTF-8"> <title>登录界面</title> <scripttype="text/javascript"src="js/login.js"></script> </head> <body>......
  • Spring循环依赖问题
    说明:  1.本文基于Spring-Framework5.1.x版本讲解  2.建议读者对创建对象部分源码有一定了解 概述这篇讲讲Spring循环依赖的问题,网上讲循环依赖的帖子太多太......