首页 > 编程语言 >生成API链接后在爬虫程序中如何使用

生成API链接后在爬虫程序中如何使用

时间:2022-10-12 10:06:37浏览次数:41  
标签:city 20 爬虫 链接 API 白名单 port

做数据抓取的公司应该都在用API连接提取ip作为辅助工具,防止触发网站反爬机制。那么在API使用过程中又有那些问题呢?

生成API链接后在爬虫程序中如何使用_运营商

API链接:http://jshk.com.cn/getip?num=111&type=1&pro=&city=0&yys=0&port=1&pack=41516&ts=0&ys=0&cs=0&lb=1&sb=0&pb=4&mr=1&regions=

结果注释

num:获取数量

pro:代表省份

city:城市

yys:运营商

port:软件协议(1表示HTTP/HTTPS 2表示SOCK5)

time:稳定时长

type:数据格式(1表示TXT格式 2表示JSON格式)

regions:全国混拨地区

返回结果示例

{"code":0,"success":true,"msg":"0","data":[{"ip":"49.68.68.197","port":33220,"expire_time":"2017-06-20 20:40:24","city":"徐州市","isp":"电信"},{"ip":"121.236.238.89","port":33502,"expire_time":"2017-06-20 20:42:15","city":"苏州市","isp":"电信"}]}

结果注释

code:0为成功,1为失败

success:true为成功,false为失败

mark:地址

port:端口

city:城市(地级市名称)

isp:运营商(电信、联通)

expire_time :过期时间(为时间戳需要开发人员自行转换)

生成API链接,提示传参有误怎么办?

在提取时,如果点击生成API链接按钮,打开链接后,出现以下提示:

{"code":"117","success":false,"msg":"您的套餐pack传参有误!请检测您现在的114.217.206.172是否在套餐所在用户的白名单中","data":[]}

这就需要我们在百度上搜,把搜索到的本地ip添加到白名单中。在个人中心处,有个白名单,在设置白名单处添加保存即可。

白名单设置成功后,重新生成API链接,打开链接就可以看到我们所提取的地址了。

标签:city,20,爬虫,链接,API,白名单,port
From: https://blog.51cto.com/u_13488918/5748894

相关文章

  • 如何解决python爬虫的ip资源问题
    解决python爬虫的ip资源需求,有以下三种方法:一.采购http代理,api提取此类方法适用于爬虫脚本或软件在本地电脑或服务器终端运行的情况,通过api提取的方式获取海量代理ip,因为ap......
  • <三>从编译器角度理解C++代码编译和链接原理
    1代码点击查看代码**sum.cpp**intgdata=10;intsum(inta,intb){returna+b;}**main.cpp**externintgdata;intsum(int,int);intdata=20;intmain......
  • camunda_19_api
    本文内容转载,下面内容转载自使用Camunda流程引擎开发,【取回】、【撤销】代码实现-a周周-博客园camunda驳回到第一个任务节点示例-李兵~-博客园流程打回到起......
  • [Recoil] Optimising API Calls
    UsingcacheclasstoreduceAPIcallsimport{Button}from'@chakra-ui/button'import{Input}from'@chakra-ui/input'import{Box,Divider,Heading,VStack}fr......
  • Flink Table API 的开发步骤
    1.创建TableEnvironmentFlink的TableAPI/SQL的执行入口功能如下:1.1注册Catalog【数据系统实例】1.2在Catalog中注册库和表1.3加载插件模块1.4执行SQL的查询1.......
  • 使用 Stream API 高逼格 优化 Java 代码
    Java8的新特性主要是Lambda表达式和流,当流和Lambda表达式结合起来一起使用时,因为流申明式处理数据集合的特点,可以让代码变得简洁易读放大招,流如何简化代码如果有一个需求,需......
  • 一些SIPI相关的链接和网站
    这一篇主要是分享一些同SIPI技术相关的博客、网站 1.网际星空oldfriendoldfriend老师的个人博客有很多扎实的技术分享,工具偏ANSYS,老师应该是从事ANSYS相关的工作......
  • 详解ROMA Connect API 流控实现技术
    1、概述ROMA平台的核心系统ROMAConnect源自华为流程IT的集成平台,在华为内部有超过15年的企业业务集成经验。依托ROMAConnect,可以将物联网、大数据、视频、统一通信、GIS等......
  • windows内核Api的学习
    windows内核api就是ntoskrnl.exe导出的函数。我们可以跟调用应用层的api一样,调用内核api。不过内核api需要注意的是,如果函数导出了,并且函数文档化(也就是可以直接在msdn上搜......
  • VS2019 使用 C/C++ 动态链接库 并 进行调用
     vs2019生成dll并调用的实现示例:​​https://www.jb51.net/article/179759.htm​​ 1.VS 中生成动态链接库的三种方式(导出函数) 开发环境:VS2019 创建动态链接库项目新......