首页 > 编程语言 >爬取python网站下载地址,并下载最新文件

爬取python网站下载地址,并下载最新文件

时间:2023-11-18 19:00:33浏览次数:39  
标签:www python 爬取 headers https 2.1 下载

1.下载https://www.python.org/ftp/python/最新版本python文件
   一个下载网站,查看最新的,然后下载对应版本文件(如,列出python版本,并下载 https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tar.xz) 。

  代码如下:

import requests
from lxml import etree
import time
import random
from fake_useragent import UserAgent
url = 'https://www.python.org/ftp/python/'
headers = {'User-Agent': UserAgent().random}
html = requests.get(url=url, headers=headers).content.decode('utf-8', 'ignore')
parse = etree.HTML(html)
table_list = parse.xpath('//a/text()')
for i in table_list:
print(i)

####打印如下:
..
2.0/
2.0.1/
2.1/
2.1.1/
2.1.2/
2.1.3/

标签:www,python,爬取,headers,https,2.1,下载
From: https://www.cnblogs.com/huchao12/p/17840943.html

相关文章

  • python的SSH/ftp操作
    1.python连接ssh并执行命令//安装paramiko模块:pipinstallparamiko(1)执行单条命令importparamikossh=paramiko.SSHClient()#创建一个ssh的客户端,用来连接服务器know_host=paramiko.AutoAddPolicy()#创建一个ssh的白名单ssh.set_missing_host_key_policy(know_hos......
  • python使用wandb login报错
    python使用wandblogin报错问题描述wandb是一个可视化在pipinstallwandb后使用importwandb或者运行命令wandblogin产生如下报错:cannotimportname'COMMON_SAFE_ASCII_CHARACTERS'解决方法报错可能是由于charset_normalizer模块的版本问题引起的。卸载重装:pipuninst......
  • Python 潮流周刊#27:应该如何处理程序的错误?
    你好,我是猫哥。这里每周分享优质的Python、AI及通用技术内容,大部分为英文。本周刊开源,欢迎投稿。另有电报频道作为副刊,补充发布更加丰富的资讯。......
  • Python十道基础编程题
    1.输入日期,判断这一天是这一年的第几天importdatetimedefday_of_year():year=eval(input('请输入年份:'))month=eval(input('请输入月份:'))day=eval(input('请输入天:'))date1=datetime.date(year,month,day)date2=datetime.date......
  • Python 中的经典类新式类
    要知道经典类和新式类的区别,首先要掌握类的继承类的继承的一个优点就是减少代码冗余广度优先和深度优先,这主要是在多类继承的时候会使用到经典类和新式类的主要区别就是类的继承的方式经典类遵循深度优先的规则,新式类遵循广度优先的规则。至于什么是深度优先什么是广度优先,可......
  • Python中四大高阶函数,你认识几个
    1.匿名函数defname(a,b):returna+bf=lambdaa,b:a+bprint(f(15,15))2.map函数第一个参数接收一个函数名,第二个参数接收一个可迭代对象,利用map,lambda表达式将所有偶数元素加100deffun(a,b):returna+bret=map(fun,[1,2,3],[4,5,6])print(list(ret))3.sor......
  • python模拟题二
    1. (10.)   实现以下功能:从键盘输入4个数字,各数字采用空格分隔,对应变量x0,y0,xl,y1.计算两点(x0,y0)和(x1,y1)之间的距离,屏幕输出这个距离,例如:键盘输入:0135   屏幕输出:5.00  提示:importmathnums=input("用空格分隔的四个数字:")#利用nums.spl......
  • Python字典六种类型概述
    1.引言看到这个标题,你可能会觉得奇怪,事实上在Python的标准库中共有6种字典类型!在某些情形下,你可能会觉得标准的Python字典dict,并不能完全符合你的需求。在本文中,我们将讨论Python中其他5个鲜为人知的词典及其特性。闲话少说,我们直接开始吧!2.字典的定义在Python中,Dictionary(dict)是......
  • 简单的用Python实现一下JS逆向解密,采集空气质量数据
    最近天气降温厉害,咱们用Python来分析一下空气质量如何~话不多说,我们直接开始上手。环境以及模块环境使用Python3.8Pycharmnodejs模块使用importrequestsimportexecjsimportjsonrequests和execjs都是第三方模块,需要手动安装,直接pipinstall......
  • Python全栈开发从入门到入土【新版】
    【Python初级】【一】计算机基础【补充】计算机五大组成部分【二】编程语言和Python语言介绍【三】Python解释器和Pycharm的安装【补充】Python相关补充【补充】Pycharm相关补充【四】Python语法入门之常量和变量【五】Python基础之垃圾回收机制【六】Python基础之基本......