首页 > 其他分享 >页面的json数据浏览器无法访问,还有什么别的办法获取数据?

页面的json数据浏览器无法访问,还有什么别的办法获取数据?

时间:2023-11-28 21:47:03浏览次数:50  
标签:Python 无法访问 selenium 获取数据 json 代码

大家好,我是皮皮。

一、前言

前几天在Python钻石流群【空】问了一个Python网络爬虫的问题,一起来看看吧。问题描述:

请教一个问题,页面的json数据浏览器无法访问,还有什么别的办法获取数据

图片如下:

image.png

这个问题看上去有点怪怪的。

二、实现过程

看上去代码倒是很简洁,没啥难度,这里【猫药师Kelly】给了一个指导:

2种办法:

  1. 不用selenium,直接request.post提交json
  2. 用selenium,截取jsonRequest的响应

image.png

方法1值得优先尝试,方法2的话,原生selenium代码有点麻烦,换成selenium-wire也行,或者直接mitmproxy。

顺利地解决了粉丝的问题。

image.png

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python可视化的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【空】提出的问题,感谢【猫药师Kelly】给出的思路,感谢【Brónson Ezrâ】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。
image.png

标签:Python,无法访问,selenium,获取数据,json,代码
From: https://www.cnblogs.com/dcpeng/p/17863144.html

相关文章

  • # yyds干货盘点 # 页面的json数据浏览器无法访问,还有什么别的办法获取数据?
    大家好,我是皮皮。一、前言前几天在Python钻石流群【空】问了一个Python网络爬虫的问题,一起来看看吧。问题描述:请教一个问题,页面的json数据浏览器无法访问,还有什么别的办法获取数据图片如下:这个问题看上去有点怪怪的。二、实现过程看上去代码倒是很简洁,没啥难度,这里【猫药师Kelly】......
  • Python-JSON文件操作简化的工具库,支持读取和修改
    这是一个关于python操控json的工具类可以利用get方法以路径的形式查看内容,输出的格式为列表或字典change方法用于修改指定路径下的内容,支持修改内容为字典和列表的形式修改后使用save方法进行保存以下是代码:importjsonimporttimeimportrandomclassError_message:......
  • json-server的增删改查与基本使用
    1.查看是否安装node2.查看是否安装npm3.安装json-server4.查看json-server的版本5.json-server--watchdb.json6.配置db.json文件下载 apifoxjson-server的增删改查在apifox中创建一个快捷调试直接点击发送,当body中返回下面内容,表示添加成功注意:不需要添加id,他会自......
  • npm学习(十六)之package-lock.json和package.json的作用
      转自:https://www.cnblogs.com/cangqinglang/p/8336754.htmlpackage-lock.json的作用就是锁定安装依赖时包的版本,并且需要上传到git,以保证其他人npminstall时安装的依赖能够保持一致 根据官方文档,这个package-lock.json是在`npminstall`时候生成的一份文件,用以记录......
  • npm学习(十一)之package-lock.json
      package-lock.json描述对于npm修改node_modules树或package.json的任何操作,都会自动生成package-lock.json,它描述生成的确切树,以便后续安装能够生成相同的树,而不管中间依赖项更新如何。此文件拟提交至来源资料库,并可作以下用途:描述依赖关系树的单一表示形式,以确保队......
  • C\C++ 使用RapidJSON库,轻松解析和生成JSON
    简介  RapidJSON是一个高效的C++JSON解析器和生成器。它专注于性能和易用性,使得处理JSON数据变得简单和快速。RapidJSON支持现代的JSON特性,如嵌套对象、数组、Unicode编码和注释。它的API简洁易用,可以轻松解析和生成JSON数据。无论你的项目需要处理大量的JSON数据,还是只需要解析......
  • Java 将JSON数组转成List对象集合
     一、从对象列表中提取并组装JSON字段的数据:(工具类)publicclassJsonMsgUtils<T>{/***从对象列表中提取并组装JSON字段的数据。**@paramlogs包含对象的列表*@paramtargetClass目标对象类型,表示JSON消息的结构......
  • ASP.NET Core Web API设置响应输出的Json数据格式的两种方式
    前言在ASP.NETCoreWebAPI中设置响应输出Json数据格式有两种方式,可以通过添加System.Text.Json或Newtonsoft.JsonJSON序列化和反序列化库在应用程序中全局设置接口响应的Json数据格式,本文示例使用的是新的MinimalAPI模式。JSON序列化和反序列化库System.Text.JsonSystem.Te......
  • C#简化工作之实现网页爬虫获取数据
    公众号「DotNet学习交流」,分享学习DotNet的点滴。1、需求想要获取网站上所有的气象信息,网站如下所示:目前总共有67页,随便点开一个如下所示:需要获取所有天气数据,如果靠一个个点开再一个个复制粘贴那么也不知道什么时候才能完成,这个时候就可以使用C#来实现网页爬虫获取这些数据......
  • C# Json序列化的格式化问题
    问题来源: 客户要求传送给他的JSON文件的float型格式化为2位小数,数值型有30-40个栏位,一个一个修改也不是很好.bing和百度找到的方式都是自己定义一个JsonConverter,进行格式化.找到的都是在字符串两边加++的例子,核心转化的代码如下:classStringFormatConverter:JsonCo......