python爬虫练习2-百度热榜

时间：2023-09-09 23:33:29浏览次数：32

标签：xpath python text 爬虫 data 热榜 div rot class

import requests
from lxml import etree

url = 'https://top.baidu.com/board?tab=realtime'
headers ={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
}
bd_rot = requests.get(url,headers=headers)
data = etree.HTML(bd_rot.text)
rot_data = data.xpath('//div[@class="category-wrap_iQLoo horizontal_1eKyQ"]')
for j,i in enumerate(rot_data):
    title = i.xpath('./div[@class="content_1YWBm"]/a/div[1]/text()')
    rot_text = i.xpath('./div[@class="trend_2RttY hide-icon"]/div[3]/text()')
    rot_num = i.xpath('./div[@class="trend_2RttY hide-icon"]/div[2]/text()')
    rot1 = "".join(title)
    rot2 = "".join(rot_text)
    rot3 = "".join(rot_num)
    rot = "标题："+rot1.strip()+' '+rot2.strip()+'：'+rot3
    if j == 0:
        j="置顶"
    print(j,rot)

标签：xpath,python,text,爬虫,data,热榜,div,rot,class
From： https://www.cnblogs.com/fanpush/p/17690448.html

Python开发实例（十五）电子邮件自动化：编写一个程序，自动发送电子邮件或处理收件箱
在这个实例中，我们将使用Python编写一个程序，实现自动发送电子邮件的功能。我们将使用Python的smtplib库来发送电子邮件。首先，请确保你已经安装了smtplib库。如果没有安装，可以通过以下命令来安装：pipinstallsecure-smtplib下面是一个自动发送电子邮件的Python程序：importsmtplibfro......
Python学习笔记-Python判断语句
布尔类型和比较运算符布尔类型进行判断，只有2个结果：是否程序中，如何描述：是或否？使用：布尔类型。Python中常用的6种值（数据）的类型类型描述说明数字（Number）支持整数（int）浮点数（float）复数（complex）布尔（bool）整数（int），如10、-10浮点数（float），如13.14、-13.14复数（complex），如4+3j，以j结尾表示复数布尔（bool）......
新人如何快速学会Python
要快速学会Python，首先要了解Python的基本语法和数据类型。Python是一种解释型语言，具有简单易学、高效开发、库丰富等特点。首先，需要掌握Python的基本语法，例如变量、数据类型、控制流语句、函数等。可以通过阅读官方文档、在线教程、书籍等方式进行学习。同时，可以尝试编写简单的Pyt......
python学习笔记-celery介绍和使用
一、celery介绍1、简介celery是分布式任务队列celery在执行任务时需要一个消息中间件来接收和发送消息，以及存储结果，一般使用rabbitmq，rediscelery的优先：简单：配置和使用比较简单高可用：当任务失败或执行过程中连接中断，celery会自动尝试重新执行快速：每分钟可处理上百万个任务灵活：几......
Python第四章序列（2）：元组
1.创建元组： a=('a',2009) //与列表不同，用圆括号 a=() a=(20,) //当元组中只包含一个元素的时候，需要在元素后加逗号，不然括号会被当成运算符2.元组访问： a[1] a[2:5] //也可以用切片也可以用for的遍历。3.修改元组：元组不允许......
Python第四章序列（1）：列表
1.列表的创建： a=['hallo','guten',[2002,2223]] empty_list=[]2.获得列表长度： len(a)3.创建数值列表: a=list(range(1,6)) //1到6的列表 b=list(range(1,11,2)) //1到10的奇数列表 c=list(random.sample((0,50),20)) //0到50的......
python-day4
1.两数之和（input高级应用）num1=int(input('num1='))num2=int(input('num2='))print(num1+num2)或者num1=input('num1=')num2=input('num2=')print(type(num1))print(type(num2))print(int(num1)+int(num2))2.运算符算术运算符num1=int(input(�......
Python获取主目录的方法
用os.path.expanduser模块获取主目录为了获得用户的主目录，我们可以使用Python中的os.path.expanduser。我们必须在os.path.expanduser()函数里面传递一个字符串字符~，它将返回当前登录用户的主目录路径。它使用内置的密码数据库或pwd模块来搜索主目录的路径，pwd模块提供用户......
Python教程：sys.stdout方法
Python中sys模块中的一个方法是stdout，它使用其参数直接显示在控制台窗口上。这些种类的输出可以是不同的，像一个简单的打印语句，一个表达式，或者一个输入提示。print()方法，它有相同的行为，首先转换为sys.stdout()方法，然后在控制台显示结果。sys.stdout方法的语法sys.stdout......
Python中跨越多个文件使用全局变量
这个琐碎的指南是关于在Python中跨多个文件使用全局变量。但是在进入主题之前，让我们简单地看看全局变量和它们在多个文件中的用途。Python中的全局变量全局变量是不属于函数范围的变量，可以在整个程序中使用。这表明全局变量也可以在函数体内部或外部使用。让我们看一个例子：......

python爬虫练习2-百度热榜

相关文章

赞助商

阅读排行