首页 > 编程语言 >python 爬虫ip代理

python 爬虫ip代理

时间:2023-03-14 12:32:30浏览次数:39  
标签:http python ip 爬虫 537.36 proxy print txt


新建proxy_list.txt文本,一行一个ip代理ip地址,必要情况下可以加上端口号

import requests

url = 'www.920vip.net'

headers = {
'User-Agent': "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"
}

# 读取ip代理池
with open('proxy_list.txt', 'r') as f:
while True:
for line in f.readlines():
proxy = line.strip('\n') # 删除每一行最后面的换行符
print(proxy)

proxy_support = {
'http': 'http://' + proxy
}



response = requests.get(url, proxies=proxy_support)
print(response.text)


标签:http,python,ip,爬虫,537.36,proxy,print,txt
From: https://blog.51cto.com/u_16006123/6120327

相关文章

  • 盘点爬虫HTTP代理使用的常见问题及解决思路
    在使用爬虫HTTP代理过程中经常会遇到一些奇奇怪怪的问题,常见的可能就是超时、访问速度慢,今天就来跟大家探讨下哪些情况下容易出现这种问题,以及如何测试并解决。1、......
  • Python的namedtuple使用详解
    namedtuple又名具名元组,因为普通元组的局限性,不能为元组的数据进行命名,所以我们并不知道一个元组所要表达的意义,所以在这里引入了collections.namedtuple这个工厂函数,来构......
  • 【JavaScript】44_DOM编程初步
    1、初识要使用DOM来操作网页,我们需要浏览器至少得先给我一个对象才能去完成各种操作所以浏览器已经为我们提供了一个document对象,它是一个全局变量可以直接使用document代表......
  • JavaScript
    变量:区分大小写,不把一个值保存到新的变量,这个变量就是一次性的(就是丢了这个数据地址)//驼峰命名var变量名;常量:不可改变的值用常量//全部单词大写,用_分割单词 数......
  • python类中的@property和@staticmethod分别有什么用,还有其他的吗?
    @property和@staticmethod是Python中常用的装饰器,它们分别有以下特点:@property:@property用于将一个方法转化为属性,从而可以像访问属性一样访问该方法。例如,如果一个类有......
  • Python3.12中的新功能
    什么是3.12.0a6Python3.12仍在开发中。但是今天我们将看看Python3.12.0a6,这是七个计划中的alpha版本中的第六个。alpha版本的目的是更轻松地测试新功能和错误修复的......
  • Eclipse使用总结
      转载 https://www.cnblogs.com/Joetao/articles/16137714.html (1)ProjectExplorer面板右边viewmenu下拉菜单TopLevelElement两种组织项目方式(Projects或Wor......
  • SublimeText3 Python代码补全
    1.首先安装packagecontrol插件下载插件:  https://sublime.wbond.net/Package%20Control.sublime-packagePreferences->BrowsePackages打开一个文件夹,上一层......
  • 如何获取高质量的爬虫ip
    对于刚学爬虫的程序员来说,解决爬虫封ip问题多数都是百度搜索免费的爬虫代理使用,我们都知道这类你代理可用率极低,这种爬虫ip时效还很短,这大大的增加了工作效率得不偿失。免......
  • Python疑点
    一、魔法方法1.定义使用__开始,使用__结束在创建对象时,会自动调用__init__方法在销毁对象时,会自动调用__del__方法当打印一个对象的时候,会调用这个对象的__str__或......