首页 > 其他分享 >历史天气爬虫

历史天气爬虫

时间:2024-12-13 15:09:34浏览次数:5  
标签:info 历史 headers url 爬虫 天气 re import replace

 1 # coding: utf-8
 2 import re
 3 from bs4 import BeautifulSoup
 4 import requests
 5 
 6 
 7 def main(city='zhengzhou', ymonth='202301'):
 8 
 9     headers = {
10         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
11     }
12 
13     url = F'http://www.tianqihoubao.com/lishi/{city}/month/{ymonth}.html'
14     content = requests.get(url=url, headers=headers)
15     soup = BeautifulSoup(content.text, 'lxml')
16     weather = soup.find_all('tr')
17 
18     # 逐日处理
19     for info in weather:
20         info = str(info).replace(' ', '').replace('\r\n', '')
21         info = info.replace('\n', '')
22         info = re.sub(r'<[^>]+>', ' ', info)
23         info = re.sub(r' {2,}', ' ', info.strip())
24         print(info)

 

标签:info,历史,headers,url,爬虫,天气,re,import,replace
From: https://www.cnblogs.com/ddzhen/p/18604996

相关文章

  • 【Python网络爬虫笔记】11- Xpath精准定位元素
    目录一、Xpath在Python网络爬虫中的作用(一)精准定位元素(二)应对动态网页(三)数据结构化提取二、Xpath的常用方法(一)节点选取(二)谓词筛选(三)轴操作三、Xpath在Python中的安装和使用(一)安装(二)使用Xpath提取特定内容四、Xpath在Python网络爬虫中的典型案例(一)新闻网站......
  • 【Python网络爬虫笔记】12- Xpath快速爬取汽车之家2024年最新二手车信息
    目录一、准备工作二、读取数据三、汽车之家二手汽车网站HTML结构解析四、使用XPath解析数据本文将深入介绍如何使用Python结合XPath来爬取汽车之家二手车信息,包括对汽车之家二手汽车网站的HTML结构解析。一、准备工作首先,我们需要导入lxml库中的etree模块。这个模......
  • 计算机毕业设计Python+知识图谱大模型AI医疗问答系统 健康膳食推荐系统 食谱推荐系统
    温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!作者简介:Java领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO......
  • 计算机毕业设计Python+知识图谱大模型AI医疗问答系统 健康膳食推荐系统 食谱推荐系统
    温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!作者简介:Java领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO......
  • 恶补英语初级第21天,《讨论天气变化》
    对话What’stheweatherlikeinspring?It’softenwindyinMarch.It’salwayswarminAprilandMay,butitrainssometimes.What’sitlikeinsummer?It’salwayshotinJune,JulyandAugust.Thesunshineseveryday.Isitcoldorwarminautum......
  • VR线上展厅如何提升学生对历史事件的兴趣?
    VR线上展厅通过提供沉浸式和互动式的学习体验,能够显著提升学生对历史事件的兴趣。接下来,由专业从事VR虚拟展厅制作的圆桌3D云展厅平台为大家介绍一些具体的方法:沉浸式体验:历史场景重现:利用VR技术,线上展厅可以重现历史事件的场景,让学生仿佛置身于历史时刻,比如站在柏林墙倒......
  • 股票数据接口API实例代码python、JAVA等多种语言演示免费获取实时数据、历史数据、CDM
    ​本文中所有接口均可直接在浏览器打开获取数据,为了便于大家验证有效性,已经做好了超链接,直接点击即可!沪深两市股票列表API接口链接(可点击验证):https://api.mairui.club/hslt/list/b997d4403688d5e66a【实时数据接口】沪深两市实时交易数据接口API接口链接(可点击验证):htt......
  • 用python程序写一个爬虫小案例,使用场景输入手机号 获取验证码
    为了演示如何编写一个简单的爬虫来模拟“输入手机号并获取验证码”的场景,我们需要以下几个步骤:1.**分析目标网站**:首先,你需要找到一个可以通过手机号获取验证码的网站,并分析其网络请求。通常,验证码请求是通过`HTTPPOST`请求发送的,并带有手机号参数。2.**使用Python发......
  • 爬虫基础之多线程和多进程的基本原理
    在一台计算机中,我们可以同时打开多个软件,例如同时浏览网页、听音乐、打字等,这是再正常不过的事情。但仔细想想,为什么计算机可以同时运行这么多软件呢?这就涉及计算机中的两个名词:多进程和多线程。同样,在编写爬虫程序的时候,为了提高爬取效率,我们可能会同时运行多个爬虫任务......
  • 爬虫基础之爬虫的基本原理
    若是把互联网比作一张大网,爬虫(即网络爬虫)便是在网上爬行的蜘蛛。把网中的节点比作一个个网页,那么蜘蛛爬到一个节点处就相当于爬虫访问了一个页面,获取了其信息。可以把网页与网页之间的链接关系比作节点间的连线,蜘蛛通过一个节点后,顺着节点连线继续爬行,到达下一个节点,意味......