首页 > 其他分享 >爬虫案例 X-Requested-With 异步请求

爬虫案例 X-Requested-With 异步请求

时间:2023-05-09 16:33:35浏览次数:37  
标签:Requested cookies ch undefined 异步 url 爬虫 headers page

import requests
from copyheaders import headers_raw_to_dict

url = 'https://eregpublicsecure.ksrzis.cz/Registr/RZPRO/Osoba'
post_url = url + "/GetOsobaList"
# headers信息  X-Requested-With 异步请求的时候需要
headers_raw = b"""X-Requested-With: XMLHttpRequest"""
header = headers_raw_to_dict(headers_raw)
# 获取cookie
sess = requests.Session()
response = sess.get(url)
cookies_geted = response.cookies
page = 1
page_size = 1000
search_dict = {
    14: "distributor obecných zdravotnických prostředků",
    15: "distributor aktivních implantabilních zdravotnických prostředků",
    16: "distributor diagnostických zdravotnických prostředků in vitro",
}
data = {
    "sort": "",
    "page": page,
    "pageSize": page_size,
    "group": "",
    "filter": "CinnostOsoby~undefined~'"
              + str(list(search_dict.keys())[0])
              + "'~and~Nazev~undefined~''~and~Adresa~undefined~''~and~ICO~undefined~''~and~RegCislo~undefined~''~and~ZdravotnickyProstredek~undefined~''",
}

response = sess.post(post_url, data=data, headers=header, cookies=cookies_geted)
print(response.status_code)

  

 

标签:Requested,cookies,ch,undefined,异步,url,爬虫,headers,page
From: https://www.cnblogs.com/avivi/p/17385484.html

相关文章

  • 【0基础学爬虫】爬虫基础之自动化工具 Pyppeteer 的使用
    大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬虫】专栏,帮助小白快速入门爬虫,本期为自动化工具Pyppeteer的使用。概述......
  • 异步电机,感应电机各种仿真模型,有自抗扰控制,模型预测控制,滑模控制,间接磁场定向,直接磁场
    异步电机,感应电机各种仿真模型,有自抗扰控制,模型预测控制,滑模控制,间接磁场定向,直接磁场定向,无速度传感器仿真ID:72200676779486106......
  • 爬虫学习基础
    第一个爬虫程序,抓取网页源码并保存为html文件fromurllib.requestimporturlopenurl='http://www.baidu.com'res=urlopen(url)#print(res.read().decode('utf-8'))withopen('save_baidu.html','w',encoding='utf-8')asf:......
  • Java爬虫可以非常溜
    Java爬虫是一种利用Java语言编写的网络爬虫,主要用于从互联网上获取数据。在Java中,常用的爬虫框架有Jsoup、HttpClient、Selenium等。其中Jsoup是一种解析HTML文档的Java库,可以方便地进行HTML解析和内容提取。HttpClient是Apache组织开发的JavaHTTP客户端库,......
  • 【故障补牢】贪吃的 Bing 爬虫,限量供应的应对措施
    相对于【故障公告】,【故障补牢】分享的是园子在发生故障后采取的亡羊补牢措施。在上次被微软Bing爬宕机后(详见【故障公告】被放出的Bing爬虫,又被爬宕机的园子),我们采取了2个应对措施,然后解除了对Bing爬虫的屏蔽。措施1:限流——采用滑动窗口进行限流我们之前采用的限流措......
  • Python爬虫零基础教学第二天
    Python爬虫高级开发/大数据抓取/从入门到精通/商业项目实战(2)开始时间2023-05-08 21:26:37结束时间2023-05-08 23:08:20一、调试模式的介绍 鼠标右键,在出现的选项中找到检查进入调试模式,或者按键盘上的f12键进入调试模式。  二、Cookie使用cookie进行会话保持 ......
  • 前端ajax异步访问导致的问题
    经过很多次尝试发现在执行return的时候异步访问中的给result_没有执行,后来发现在执行ajax的时候系统分出了另外一个线程单独执行ajax的代码,原来的线程继续往后执行导致还没有给result_赋值就已经执行了return语句而且后面那个单独分出来的线程执行完的时候,日志信息照样打印。所以......
  • Javascript异步编程的4种方法
    你可能知道,Javascript语言的执行环境是"单线程"(singlethread)。所谓"单线程",就是指一次只能完成一件任务。如果有多个任务,就必须排队,前面一个任务完成,再执行后面一个任务,以此类推。这种模式的好处是实现起来比较简单,执行环境相对单纯;坏处是只要有一个任务耗时很长,后面的任务都必须......
  • 爬虫框架有Scrapy、BeautifulSoup、Selenium
    爬虫框架有Scrapy、BeautifulSoup、Selenium BeautifulSoup比Scrapy相对容易学习。Scrapy的扩展,支持和社区比BeautifulSoup更大。Scrapy应被视为蜘蛛,而BeautifulSoup则是Parser。1.爬虫基础知识在开始Python爬虫之前,需要先掌握一些基础知识。首先了解一下HTTP协议,掌握常见的......
  • 爬虫 202107【JavaPub版】
    写于2021071117:10北京朝阳区@[toc]方法:首先下载mitproxy,pip安装方法:>pipinstallmitmproxy基本使用方法:给本机设置代理ip127.0.0.1端口8001(为了让所有流量走mitmproxy)具体方法请百度。启动mitmproxy。windows:>mitmdump-p8001Linux:>mitmproxy-p80012.修改chromedriver......