首页 > 其他分享 >爬虫cookie的使用

爬虫cookie的使用

时间:2024-09-17 16:13:01浏览次数:9  
标签:浏览器 网站 Request 爬虫 用户 cookie 使用 UserAgent

cookie是一种由网站创建并存储在用户计算机上的小型文本文件。访问该网站时由浏览器返回给服务器。cookie主要作用是帮助网站记住用户信息,包括但不限于:

  • 会话管理,网站使用cookie识别用户的会话,以便用户在浏览网站时不需要重复登录。
  • 个性化体验,通过存储用户的偏好设置,网站可以在用户下次访问时提供个性化的体验。
  • 追踪分析,网站使用cookie追踪用户行为,用于网站分析,改善用户体验或广告定位。

cookie分为持久性cookie和会话cookie,持久性cookie在用户的硬盘上设定一个过期日期,即使关闭浏览器,cookie也会在设定日期前一直有效。会话cookie仅在浏览器会话期间有效,当用户关闭浏览器,这些cookie会被删除。用户可以根据自己的隐私偏好设置浏览器以接受或拒绝cookie。

爬虫使用cookie

爬取获得我的账号的当前积分,由于当前积分需要登录才能看到,所以在使用python请求时要加上cookie信息。

使用urllib添加cookie信息发送请求

from urllib.request import Request, urlopen
from fake_useragent import UserAgent
# 创建UserAgent实例
ua = UserAgent()
# 请求地址
url = 'http://www.sudokufans.org.cn/index.php'
# 封装请求头
headers = {'user-agent': ua.edge,
          'Cookie': 'PHPSESSID=psiobkeevlmndr5uditvbk9k25; Hm_lvt_50ddc2ed1dbffd1c3932e52d4ee20aaf=1726558072; HMACCOUNT=61ABCD75DE58F875; c_userid=45340; c_username=%B1%F9%D5%F2%CE%F7%B9%CF%D6%AD; ips4_IPSSessionFront=ehbdh8s6dq95cjvr3oglkhbr92; Hm_lpvt_50ddc2ed1dbffd1c3932e52d4ee20aaf=1726560351'}
# 创建Request对象
req = Request(url, headers=headers)
# 发送请求
resp = urlopen(req)

 

标签:浏览器,网站,Request,爬虫,用户,cookie,使用,UserAgent
From: https://www.cnblogs.com/qyly/p/18417260

相关文章

  • Redis学习以及SpringBoot集成使用Redis
    目录一、Redis概述二、Linux下使用Docker安装Redis三、SpringBoot集成使用Redis3.1添加redis依赖 3.2配置连接redis3.3 实现序列化3.4注入RedisTemplate3.5测试四、Redis数据结构 一、Redis概述什么是redis?redis是一个高性能的,键值对的,将数据存储在内存......
  • Maven笔记(二):进阶使用
    Maven笔记(二)-进阶使用一、Maven分模块开发分模块开发对项目的扩展性强,同时方便其他项目引入相同的功能。将原始模块按照功能拆分成若干个子模块,方便模块间的相互调用,接口共享(类似Jar包一样之间引用、复用)。开发步骤:创建Maven项目书写模块代码分模块开发需要先针对......
  • git(一)——基本概念+使用教程+基本命令+以及和gitee关联
    首先来了解一下gitGit是一种分布式版本控制系统,用于跟踪和管理代码的变化。它由林纳斯·托瓦兹(LinusTorvalds)于2005年为了管理Linux内核的开发而开发。Git因其高效、灵活和易于学习的特点,迅速成为软件开发中最受欢迎的版本控制系统之一.Git的主要特点:1. **分布式**: ......
  • el-table使用el-switch选择器没效果
    出现问题的代码:0表示启用,1表示禁用,发现页面根本没有效果,百思不得其解,查阅资料,恍然大悟。<el-table:data="userList"stripeborderstyle="width:100%"height="500"><el-table-columnprop="status"label="用户状态"width="120&qu......
  • VBA_NZ系列工具NZ02:VBA读取PDF使用说明
    我的教程一共九套及VBA汉英手册一部,分为初级、中级、高级三大部分。是对VBA的系统讲解,从简单的入门,到数据库,到字典,到高级的网抓及类的应用。大家在学习的过程中可能会存在困惑,这么多知识点该如何组织成自己的程序呢?VBA可否能组织一个大型的程序呢?如何让VBA形成一个工具,拿来就用呢?在......
  • 使用 Spring Boot 的yml配置文件读取方式
    在Java项目中读取YML(YAML)配置文件有多种方式,尤其在使用SpringFramework(包括SpringBoot)时,更是提供了丰富的支持。以下是几种常见的方式来读取YML配置文件:1.使用SpringBoot的自动配置SpringBoot提供了对YML文件的自动化支持,这也是最常用的方式。1.1使用@Value......
  • CMake构建学习笔记17-uriparser库的构建和使用
    在连续论述了几篇关于CMake如何使用的文章之后,笔者也是感觉被掏空了。接下来几篇就还是回到构建依赖库的问题上,容笔者花时间找到更好的主题来介绍更多关于CMake使用干货。如何有的读者自信已经很熟悉这方面的知识,可以进行跳过,在需要的时候再进行查阅。uriparser是一个严格遵循RFC......
  • C++11 线程同步接口std::condition_variable和std::future的简单使用sk
    合集-C++(1)1.C++11线程同步接口std::condition_variable和std::future的简单使用09-17收起std::condition_variable条件变量std::condition_variable有wait和notify接口用于线程间的同步。如下图所示,Thread2阻塞在wait接口,Thread1通过notify接口通知Thread2继续执行。......
  • huggingface 的 mnist 数据集的使用
    由于原始的地址设置了登陆权限,所以,选择huggingface的mnist数据集使用。数据装载首先到hf网站下载相关数据集,地址是ylecun/mnist,然后在安装hf设计的数据集加载套件datasets工具包。用huggingface提供的工具下载到本地目录huggingface-clidownload--repo-typed......
  • 使用 Axios 配置动态域名的基础 URL 和项目打包
    在Web开发中,我们常常需要根据不同的环境(如开发、测试和生产)配置不同的API基础URL。使用Axios作为HTTP客户端,我们可以通过动态配置基础URL来实现这一目标。本文将介绍如何在Axios中配置动态域名,并提供项目打包的示例。为什么需要动态配置基础URL?在开发过程中,我......