首页 > 其他分享 >网络爬虫-处理cookie登录的问题,seesion的用法

网络爬虫-处理cookie登录的问题,seesion的用法

时间:2024-01-14 15:34:20浏览次数:44  
标签:请求 登录 url 爬虫 session cookie seesion html

一、以17k的小说网的登录为例,网址小说_17K小说网|最新小说下载-一起免费看小说

  当想要在小说网中看一下书架上的书都有哪些,必须得先登录一个账户才能看到,不同的用户登录看到内容也是不一样的,服务器是如何区分的呢?

  这里要引入cookie,不同的用户访问到服务器的时候,除了访问地址外,会带cookie去访问

通过输入用户名和密码来检查网页的情况,请求地址和方式,POST请求肯定会有参数的,

 post的参数可以在负载里面找到:如下

 在账户登录成功后,可以查看书架上的内容了,通过网页分析发现,书架上的内容可以在网页请求返回值里找到

 截止到目前,书架内容已经可以拿到了,后续解析一下数据内容

二、代码如下【流程】:

import requests #导包
import time
#建立session会话
session = requests.Session()
data = {
    "loginName":"13383868xxxx",
    "password":"xxxxx"
}
#1、登录:(这里的浏览器必须是login登录按钮的链接)
url = "https://passport.17k.com/ck/user/login"

#2、可以用F12检查浏览器的请求情况:可以找到cookie  把请求和cookie带进去 post还是get可以在浏览器中看到
session.post(url=url,data=data)

# book_list = 'https://user.17k.com/www/bookshelf/'
book_list = 'https://user.17k.com/ck/user/myInfo/96810143?bindInfo=1&appKey=2406394919'
html = session.get(url=book_list)
html.encoding = 'UTF-8'
print(html.json())

运行结果:

 上面注意事项:

  注意要先建立会话,注意大小写

  先登录请求,然后再获取数据内容的请求,在获取数据请求的时候,注意请求的链接,要用网页分析得到的链接来请求

   乱码的问题  :在request的时候就要指定编码格式:

  html.encoding = 'UTF-8'

标签:请求,登录,url,爬虫,session,cookie,seesion,html
From: https://www.cnblogs.com/zp513/p/17963690

相关文章

  • 服务端跨域setcookie失败
    前端域名www.a.com后端域名list.a.com后端setcookiedomain.a.com如果失败,前端ajax添加$.ajaxSetup$.ajaxSetup({xhrFields:{withCredentials:true},crossDomain:true});letbaseUrl="xxx.com"$.ajax({type:"post",co......
  • Python逆向爬虫入门教程: 酷狗音乐加密参数signature逆向解析
    数据来源分析......
  • 短视频商城系统,session和cookie实现登录
    短视频商城系统,session和cookie实现登录项目准备1.登录页面的login.html2.主页index.html3.处理登录的方法4.获取session中数据的方法5.过滤器登录页面在static目录下新建一个文件叫做login.html<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8">......
  • 【转载】淘宝爬虫sign、token详解
    【转载】淘宝爬虫sign、token详解淘宝对于h5的访问采用了和客户端不同的方式,由于在h5的js代码中保存appsercret具有较高的风险,mtop采用了随机分配令牌的方式,为每个访问端分配一个token,保存在用户的cookie中,通过cookie带回服务端分配的token,客户端利用分配的token对请求的URL参......
  • Java set-cooike cookie.setDomain错误
    javacookie.setDomain(".test.com");错误Therewasanunexpectederror(type=InternalServerError,status=500).Aninvaliddomain[.test.com]wasspecifiedforthiscookiepublicvoidsetCookie(HttpServletResponseresponse,Stringtoken){/......
  • 用Swift库写爬虫采集统计局公开数据
    国家统计局公开的信息还是比较真实准确的,他可以给一个行业带来一些参考性意见。因此,有公司找上我,让我爬取一些行业数据,因为是老客户了也就没推辞,但是因为最近也比较忙,也就利用晚上时间加个班搞下。首先,我们需要导入必要的库,包括SwiftSoup和SwiftyJSON。SwiftSoup是一个强大的库,用于......
  • 爬虫之短信验证码
    ​ 处理短信验证码的思路就是手机端有一个可以转发短信到我们可以读取的地方。目前我的处理方式是将短信转发到邮箱,再读取邮箱中的邮件拿取验证码。​ 首先就需要下载转发工具:https://github.com/pppscn/SmsForwarder/releases/tag/v3.2.0具体使用参考官方文档。以下是12306短......
  • 面试官:禁用Cookie后Session还能用吗?
    Cookie和Session是Web应用程序中用于保持用户状态的两种常见机制,它们之间既有联系也有区别。Cookie是由服务器在HTTP响应中发送给客户端(通常是浏览器)的一小段数据。客户端将这些信息保存在本地,并在后续的请求中自动将其发送回服务器。而Session是在服务器端创建的一......
  • 快乐学Python,数据分析之获取数据方法「公开数据或爬虫」
    学习Python数据分析,第一步是先获取数据,为什么说数据获取是数据分析的第一步呢,显而易见:数据分析,得先有数据,才能分析。作为个人来说,如何获取用于分析的数据集呢?1、获取现成的数据集获取数据集的第一种方式,就是获取行业上已经有人整理好的数据集。目前大数据行业持续火爆,数据本身已......
  • 使用Ruby编写的代理爬虫程序:抓取dy视频播放量接口数据并解析(附详细中文解释)
    随着互联网的快速发展,网络数据的获取变得愈发重要。在某些情况下,我们可能需要通过代理来访问特定的网站或API,以确保数据的准确性和可靠性。本文将介绍如何使用Ruby编写一个代理爬虫程序,以抓取dy视频播放量接口的数据并进行解析。准备工作首先,我们需要引入两个关键的Ruby库:open-uri......