• 2024-07-014、爬虫-数据获取之双R(CS/BS)与chrom检查工具使用-requests请求
    模拟客户端请求服务端:  ·模拟请求行和请求头、请求体 """模拟客户端请求获取静态数据和动态数据使用python自己去构造请求使用request""""""请求的构成:请求行、请求头、请求体"""###########################静态页面加载请求的##############################
  • 2024-07-017、爬虫-爬取音乐
    1、查找请求音乐播放的请求url地址:以酷我音乐为例  拿到url对url进行分析:https://www.kuwo.cn/api/v1/www/music/playUrl?mid=326968713&type=music&httpsStatus=1&reqId=bf6ff0b0-acb0-11ee-bf9b-c39de8563da8&plat=web_www&from=  mid=不同歌曲的id  type=音乐
  • 2024-07-01338 Authorization with JWT
    步骤1、客户端添加headerscities.service.tsimport{Injectable}from'@angular/core';import{City}from"../models/city";import{HttpClient,HttpHeaders}from"@angular/common/http";import{Observable}from"rxjs"
  • 2024-07-01断点续传下载实现
    说明:在下载时,将下载任务人为的划分为几个部分,碰到网络故障断开时,可以从已经下载的部分开始继续下载未完成的部分,而没有必要从头开始下载。用户可以节省时间,提高速度。实现方案: 通过springboot实现断点续传@GetMapping(value="/downloadFile")publicResponseEntity<Res
  • 2024-06-23使用cloudflare-works搭建自己docker加速源
    在网上看到了许多教程,基本上部署都是手动的,docker镜像都要手动输入选择重新部署。要么都是些基本镜像仓库。视频地址:【CloudFlare搭建doker加速源。都这么长时间了,你的docker还是跑不通吗?】https://www.bilibili.com/video/BV1F533eHEsB/?share_source=copy_web&vd_source=0742
  • 2024-06-23【攻防世界】ez_curl
    ez_curl题目来源攻防世界NO.GFSJ1188题解是一个PHP的代码审计同时还提供了一个附件app.js,打开后内容如下app.js中:req.query.admin.includes:要求在URL中admin字段的值不包含“false"子串(必须要有admin字段)req.headers.admin.includes:要求在报文头部中admin字段的值
  • 2024-06-22http请求的工具类
    1publicclassHttpHelper2{3///<summary>4///发起POST同步请求5///</summary>6///<paramname="url"></param>7///<paramname="postData"></param>8///&l
  • 2024-06-21网易云音乐榜单爬取
    打开网易云音乐,进入飙升榜进入到开发者工具页面,搜索列表页歌曲名称,查看请求地址模拟浏览器发出请求,查看响应内容importrequestsurl='https://music.163.com/discover/toplist?id=19723756'headers={'User-Agent':'ozilla/5.0(WindowsNT10.0;Win64;x64)A
  • 2024-06-20buildroot-2020.05生成不了bluez相应工具的解决方法
    使用buildroot-2020.05编译生成bluez时,无法生成bluetoothctl、hciconfig等工具,发现其默认使用的bluez版本为5.54,而我们验证改为5.52版本时才能生成这些工具,故做了如下修改:1.bluez5_utils a.修改package/bluez5_utils/bluez5_utils.mk文件,将   BLUEZ5_UTILS_VERSION=
  • 2024-06-19python学习3
    所花时间(包括上课): 2h代码量(行): 150左右搏客量(篇): 1了解到的知识点:python备注(其他): 破解百度翻译importrequestsimportjsonif__name__=='__main__':#UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器header
  • 2024-06-18requests模块处理cookie
    requess模块处理cookie相关的请求学习目标掌握requests处理cookie的三种方法1爬虫中使用cookie为了能够通过爬虫获取到登录后的页面,或者是解决通过cookie的反扒,需要使用request来处理cookie相关的请求1.1爬虫中使用cookie的利弊带上cookie的好处能够访问登录
  • 2024-06-17使用Python获取HTTP请求头数据
    前言在Web开发和API交互中,HTTP请求头扮演着至关重要的角色。它们不仅告诉服务器请求的类型(如GET、POST等),还包含了关于客户端、请求内容以及其他重要信息的数据。在Python中,我们可以使用requests库来发送HTTP请求,并查看服务器返回的响应头,但通常我们也需要了解我们发送的请求头内
  • 2024-06-16JS逆向入门
    C级通关第一题打开页面https://www.aqistudy.cn/实现接口https://www.aqistudy.cn/apinew/aqistudyapi.php的正常请求并获取明文响应分析开着F12进页面遇到无限debugger一个neverpausehere下去关闭所有断点Activatebreakpoint(Ctrl+F8),随便逛逛网站找找目标接口
  • 2024-06-16Python爬虫下载漫画
    《谒金门·萧瑟霜》情眷恋古往今来相看几度流光人更远伤离方寸乱回梦空传幽怨依旧尘缘未断碧落黄泉寻觅遍愁来天不管最近有个轻小说改编动漫《在异世界迷宫开后宫》开播,看着还行,小说一般,流水账的感觉,而且目前国内暂时没有文库版的翻译,只有web版的个人翻译,不过对应
  • 2024-06-16Python爬虫获取B站漫画
    《眼儿媚·朦胧雾》身世飘零叹孤独回顾盼相扶情天不老雷霆易逝雨过云舒相思不忍轻离别携手更如初风急波涌扁舟不系终恋江湖最近有妖气上《鬼刀》停止更新了,Bilibili漫画上的又不能下载保存到本地,加上最近正在玩StyleGANs,需要一些动漫图片做训练数据集,所以搞个爬
  • 2024-06-15抖音验证签名和接口含中文签名,需要在发送端加上utf8编码
    抖音验证签名和接口含中文签名,需要在发送端加上utf8编码抖音验签和抖音异步通知回调验签解决:是对整个接收的字符串做验签,而不是部分数据做验签解决中文参数问题,否则中文乱码报验签错误 签名算法https://developer.open-douyin.com/docs/resource/zh-CN/mini-app/develop/serve
  • 2024-06-15【2024】 python下载快手无水印去水印视频
    无水印视频下载#coding=utf-8importrequestsimportreimportjson##url分享短视频链接#defdownload(url):headers={'User-Agent':util.window_user_agent}#获取短连接码sub=re.findall('https://v.kuaishou.com/\w{6}',
  • 2024-06-14记laravel框架中去除请求标头的方法
    laravel框架中使用ajax请求接口会默认设置X-CSRF-TOKEN字段,但是如果服务器端不允许使用该字段,则会报错cors,我们使用setRequestHeaders设置字段为null也不行1.检测是否拥有ajax提前设置,如果有删除if($.ajaxSettings&&$.ajaxSettings.headers){delete$.ajaxSettings.h
  • 2024-06-13vue项目中axios封装(数据请求封装)
    一、定义utils(工具类)目录,并创建两个文件,request.js与http.jsrequest.js用于创建axios,并在请求/响应拦截时对需要传递的数据进行处理。//引入axiosimportaxiosfrom'axios'//使用前要先安装依赖:npminstallaxios//引入element-ui信息import{Message}from"elemen
  • 2024-06-12SpringBoot 多文件打包下载
    第一种@RestController@RequestMapping("/download")publicclassDownloadController{@GetMapping("/files")publicResponseEntity<InputStreamResource>downloadFiles()throwsIOException{//
  • 2024-06-12爬虫 | 防盗链和代理
    防盗链referer:一种反爬方式。一些网站在响应之前会先溯源,检查请求的网址X,是从哪个链接进入的(即上一级网址是谁),比如:通过网址A--->进入网址X,那么上一级就是A。如果发现上一级网址不存在,或者错误,则认为是其他歪门邪道来的,就不给你数据。这个就是防盗链referer。#防盗链的信息查看:F
  • 2024-06-07调用文心一言API询问httpx的使用方法2
    [importrequestsimportjsondefget_access_token():url="https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=输入自己的id&client_secret=输入自己id的密码"payload=json.dumps("")headers={"Content-Typ
  • 2024-06-07调用文心一言API询问httpx的使用方法
    importrequestsimportjsondefget_access_token():url="https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=输入自己的id&client_secret=输入自己id的密码"payload=json.dumps("")headers={"Content-Type
  • 2024-06-05爬虫 | 基本步骤和解析网页的几种方法
    爬虫的步骤可以简单的概括为:获取网页并拿到HttpResponse对象,一般都是urllib库或者requests库#设置要爬取的网页,以及headers伪装浏览器(最基本防反扒手段)url='https://example.com'headers={"User-Agent":"里面的内容在浏览器--network--选择一个html查看He
  • 2024-06-05Python从0到100(二十九):requests模块处理cookie
    1爬虫中使用cookie为了能够通过爬虫获取到登录后的页面,或者是解决通过cookie的反扒,需要使用request来处理cookie相关的请求1.1爬虫中使用cookie的利弊带上cookie的好处能够访问登录后的页面能够实现部分反反爬带上cookie的坏处一套cookie往往对应的是一个用户