首页 > 其他分享 >校园网断线重连,用爬虫来搞定!

校园网断线重连,用爬虫来搞定!

时间:2022-12-12 22:32:13浏览次数:50  
标签:password 加密 登录 str2 challenge 爬虫 校园网 重连 id


前言

hello,大家好,我是大赛哥(弟),好久不见,甚是想念。

最近因为有小需求研究了两登录的加密,也成功解密加密的参数,在这里给大家分享一波。

前段时间,有个同学他实验室服务器校园网老是掉,想问问有没有啥断线重连的方法。


校园网断线重连,用爬虫来搞定!_编程语言


当时因为比较忙并没有研究,并且也很久没有搞了,昨天没事的时候研究分析了一下,这个过程可能对有基础的人来说是个小菜一碟,但是对于没了解过的可以体验一波说不定后面就用得着。有时候会了一个其他的再会,也就简单了。

这个内容的范畴属于爬虫中的进阶:JS解密 ,当然现在随着加加壳方式多样多彩,反爬手段也越发高明,很多网站尤其是有商业性质数据网站是真的很难搞。

大部分网站,都需要进行权限认证和管理,有很多页面和操作都需要认证后才能访问,而登录就是认证最关键的步骤。我们想在一个页面上畅通无阻,那大部分都是要用户登录的。登录是很多爬虫程序要解决的第一个问题,也有很多时候也是整个爬虫中最复杂最难的部分,只有搞定登录,我们才能用程序。


校园网断线重连,用爬虫来搞定!_数据分析_02


上面列举登录的两个情况,第一种情况一般很少出现但是我们学生阶段写的登录就是这样实现登录的,明文不加密,但是这种情况不太安全所以大部分登录或者请求会对一些参数进行一些加密,我们如果要用程序模拟这个登录就需要把各个参数形成过程搞懂模拟生成发送才行。当然,登录其实最棘手的验证码问题由于能力有限没研究过这里不做讲解。大部分网站在错误不高情况是没有验证码的,所以大部分场景还是可以尝试搞一搞的。

校园网需要通过http成功登录后可以才访问互联网,这个登录参数密码是加密的,下面就根据我自己所在环境小分析分享给大家。

分析

前面介绍这么多,咱们直奔主题,开始解析这个问题。

对于校园网,我们连接上它的wifi或者网线,我们处在这个校园网的局域网之中,而网络流量需要成本的,当你访问外界网络时候如果没有获得认证授权那么你是无法访问外界服务的,只有成功登录校园网平台才能访问互联网。

然而,现在登录的方式五花八门,我们第一步要观察登录的情况,大致我分成两种,一个是普通表单登录,还有的就是Ajax动态登录,

怎么区分两者呢?

很简单,登录的时候看看url有没有变化(酷酷的

标签:password,加密,登录,str2,challenge,爬虫,校园网,重连,id
From: https://blog.51cto.com/u_14983647/5932070

相关文章

  • 网络爬虫如何防止IP被限制?
    互联网的飞速发展使得人们获取数据的方式也实现了飞跃,如今的数据获取已经摆脱了过去陈旧的依靠人力的方式,通过网络爬虫获取互联网数据已经成为了目前主流的数据获取方式。​......
  • python爬虫单线程与多线程区别
    之前有人请我帮忙写一个有关招聘的爬虫,一开始先是单线程,结果显而易见非常慢,后来改了多线程,速度杠杠的。1、单线程importurllibimporturllib.requestimportrequestsimport......
  • Python爬虫实战,requests+openpyxl模块,爬取手机商品信息数据(附源码)
    前言今天给大家介绍的是Python爬取手机商品信息数据,在这里给需要的小伙伴们代码,并且给出一点小心得。首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的......
  • C++爬虫如何进行多线程调试
    我们知道在爬虫钱进行多线程调试是非常重要的,之前我们也有讨论过程序调试,今天我们还将继续在这里深入的讲解下软件调试的一些内容。比如说常见的条件断点,数据断点,多线程断点......
  • 多线程爬虫如何实现线程安全?
    做大数据抓取的应当都知道,多线程爬取数据能够有效的提供工作效率、降低运营成本。那么在编程爬虫代码的时候如果保证线程安全呢?下面我们就来聊一聊。1、什么是线程安全问题......
  • python高性能异步爬虫
    目的:在爬虫中使用异步实现高性能的数据爬取操作。异步爬虫的方式:1、多线程,多进程(不建议):好处:可以为相关阻塞的操作单独开启线程,阻塞操作就可以异步执行。弊端:无法无限制的开......
  • 使用网络爬虫自动抓取图书信息
    网络爬虫是一种从互联网上进行开放数据采集的重要手段。本案例通过使用Python的相关模块,开发一个简单的爬虫。实现从某图书网站自动下载感兴趣的图书信息的功能。主要实现的......
  • 网络爬虫之re模块
    1.re.match尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。importreline="thishdr-biz123modelserver456"pattern=r"123"mat......
  • 拓端tecdat|动漫《那年那兔那些事儿》弹幕爬虫采集代写数据分析
    开启弹幕已经成为很多年轻人看剧时的一种习惯。最近大热的几部电视剧,弹幕也十分精彩有趣,甚至出现“弹幕比剧好看”的现象。▼弹幕的出现消解了观影的孤独感,增加了互动性。可......
  • JAVA实现爬虫
    1.项目搭建2.导入相关依赖<dependency><!--jsoup只能解析网页tika能解析视频网站--><groupId>org.jsoup</groupId><artifactId>jsoup</artif......