首页 > 其他分享 >爬虫

爬虫

时间:2023-12-10 12:44:06浏览次数:25  
标签:10 num url list 爬虫 html tds

import requests

from bs4 import BeautifulSoup

import bs4

def getedhtml(url, code='utf-8'):

kv = {'user-agent': 'Mozilla/5.0'}

try:

     r = requests.get(url, headers=kv, timeout=30)

     r. raise_for_status()

     r.encoding = code

     return r.text

except:

        return ' '

def returned(html, list, num):

      count = 0

      soup = BeautifulSoup(html,  'html.parser')

      info =  soup.find('tbody', 'hidden_zhpm').children

      for tr in info:

           if count >= num:

                break

           if isinstance(tr, bs4.element.Tag):

               count += 1

               tds = tr.find_all('td')

               list.append([tds[0].contents[0],  tds[1],string, tds[3].string])

def printed(list, num):

      print('{0:^10}\t{1:{3}^10}\t{2:^10}'.format('排名',  '高校',  '分数', chr(12288)))

      for i in range(num):

           L = list[i]

           print('{0:^10}\t{1:{3}^10}\t{2:^10}'.format(L[0], L[1], L[2], chr(12288)))

def main():

      list = [ ]

      url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'

      num = int(input('请问要查询2019前多少名的高校呢: '))

      html = getedhtml(url)

      returned(html, list, num)

      printed(list, num)

main()

标签:10,num,url,list,爬虫,html,tds
From: https://www.cnblogs.com/Sjt2023/p/17892405.html

相关文章

  • 【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
    接口分析获取接口地址选择自己感兴趣的抖音博主,本次以“经典老歌【车载U盘】”为例每次请求的页面会有很多接口,需要对接口进行筛选:第一步筛选XHR筛选第二步筛选URL中带有post通过筛选play_add值找到视频的地址分析请求头通过对比两次请求发现只有X-Bogus数值会有变化,m......
  • 高并发爬虫用Python语言适合吗?
    不管你用什么语言没在进行高并发前,有几点是需要考虑清楚的,;例如:数据集大小,算法、是否有时间和性能方面的制约,是否存在共享状态,如何调试(这里指的是日志、跟踪策略)等一些问题。带着这些问题,我们一起探讨下python高并发爬虫的具体案例。在Python中实现高并发爬虫,我们可以使用异步编程库......
  • 如何正确应用爬虫技术
    随着互联网的快速发展,爬虫技术越来越受到人们的关注和使用。利用爬虫技术可以方便地获取互联网上的各种信息,如商品价格、股票行情、新闻资讯等。然而,由于爬虫技术的特殊性质,如果不正确应用,可能会引发一些法律和道德上的问题。因此,正确应用爬虫技术至关重要,以下是一些应用爬虫技术时......
  • Request 爬虫的 SSL 连接问题深度解析
    SSL连接简介SSL(SecureSocketsLayer)是一种用于确保网络通信安全性的加密协议,广泛应用于互联网上的数据传输。在数据爬取过程中,爬虫需要与使用HTTPS协议的网站进行通信,这就牵涉到了SSL连接。本文将深入研究Request爬虫中的SSL连接问题,并提供解决方案以应对各种情况。问题......
  • # yyds干货盘点 # 分享一个Python网络爬虫数据采集利器
    前言你是否曾为获取重要数据而感到困扰?是否因为数据封锁而无法获取所需信息?是否因为数据格式混乱而头疼?现在,所有这些问题都可以迎刃而解。让我为大家介绍一款强大的数据收集平台——亮数据BrightData。作为世界领先的数据收集平台,亮数据以其高效、可靠和灵活的方式检索提取关键的......
  • Python开发爬虫的五大优势
    爬虫是一种广泛应用于数据获取和信息收集的技术。Python作为一种功能强大且易于学习的编程语言,具备许多优势,使其成为开发爬虫的首选语言之一。本文将介绍Python开发爬虫的五大优势,并为您提供相关实例。1.简单易用:Python语法简洁明了,易于学习和理解。相较于其他编程语言,如Java或C++,P......
  • 4、爬虫脚本采集中科商务网区域工商信息
    1、需求:采集中科商务网区域工商信息2、需求数据字段:'名称':[title],'摘要':[content],'联系人':[lx_b],'联系电话':[tel],'电子邮件':[email],'公司地址':[address],'法定代表人':[fr],'经营状态':[state],'注册资本':[zczb]......
  • 用 Python 开发网络爬虫提高数据采集效率
    随着互联网的快速发展,数据采集成为了各行各业中不可或缺的一环。而Python作为一种功能强大且易于学习的编程语言,被广泛应用于网络爬虫开发。本文将介绍使用Python开发网络爬虫的优点,并探讨如何利用Python提高数据采集效率。1.强大的库和工具支持:Python拥有许多强大的库和工具,如Beau......
  • 代理IP、Socks5代理与爬虫在跨界电商与游戏领域的网络安全应用
    的数据挖掘,企业可以及时调整战略,把握市场机会,实现更好的出海业务。2.游戏领域的爬虫应用在游戏领域,爬虫技术可以用于收集游戏数据、用户行为等信息,为游戏运营提供有力支持。同时,通过分析玩家反馈、游戏流行趋势,游戏开发者可以及时优化产品,提高用户满意度。网络安全:保障跨界电商与......
  • 爬虫之下载青春有你第二季图片
    爬虫之下载青春有你第二季图片工具:PyCharm2022.2.4  python版本:3.9,一个很好的练手项目 1、写一个python类并方法如下  注意:里面的路径要根据自己实际情况,写成自己的importrequestsfrombs4importBeautifulSoupimportosimportdatetimeimportjson......