首页 > 其他分享 ># yyds干货盘点 # 页面的json数据浏览器无法访问,还有什么别的办法获取数据?

# yyds干货盘点 # 页面的json数据浏览器无法访问,还有什么别的办法获取数据?

时间:2023-11-28 21:31:56浏览次数:43  
标签:yyds 粉丝 Python 无法访问 selenium 问题 获取数据 json 代码

大家好,我是皮皮。

一、前言

前几天在Python钻石流群【空】问了一个Python网络爬虫的问题,一起来看看吧。问题描述:

请教一个问题,页面的json数据浏览器无法访问,还有什么别的办法获取数据

图片如下:

# yyds干货盘点 # 页面的json数据浏览器无法访问,还有什么别的办法获取数据?_Python入门

这个问题看上去有点怪怪的。

二、实现过程

看上去代码倒是很简洁,没啥难度,这里【猫药师Kelly】给了一个指导:

2种办法:

  1. 不用selenium,直接request.post提交json
  2. 用selenium,截取jsonRequest的响应

# yyds干货盘点 # 页面的json数据浏览器无法访问,还有什么别的办法获取数据?_数据_02

方法1值得优先尝试,方法2的话,原生selenium代码有点麻烦,换成selenium-wire也行,或者直接mitmproxy。

顺利地解决了粉丝的问题。

# yyds干货盘点 # 页面的json数据浏览器无法访问,还有什么别的办法获取数据?_Python_03

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python可视化的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【空】提出的问题,感谢【猫药师Kelly】给出的思路,感谢【Brónson Ezrâ】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

# yyds干货盘点 # 页面的json数据浏览器无法访问,还有什么别的办法获取数据?_数据_04

标签:yyds,粉丝,Python,无法访问,selenium,问题,获取数据,json,代码
From: https://blog.51cto.com/u_13389043/8604948

相关文章

  • C#简化工作之实现网页爬虫获取数据
    公众号「DotNet学习交流」,分享学习DotNet的点滴。1、需求想要获取网站上所有的气象信息,网站如下所示:目前总共有67页,随便点开一个如下所示:需要获取所有天气数据,如果靠一个个点开再一个个复制粘贴那么也不知道什么时候才能完成,这个时候就可以使用C#来实现网页爬虫获取这些数据......
  • Win10无法访问linux上的samba服务问题解决
    转自https://blog.csdn.net/u014635079/article/details/124703840服务端:Ubuntu20.04, samba版本4.13.17-Ubuntu客户端:Win10 问题1:按照教程搭建好samba服务之后,从windows可以ping通linux的情况下,从windows端无法连接samba服务器。 解决:通过打开Lanman工作站的启用不......
  • # yyds干货盘点 # 盘点一个Pandas处理Excel表格实战问题(下篇)
    大家好,我是皮皮。一、前言继续接着上一篇文章说,这一篇文章我们一起来看看大佬们的解决办法。二、实现过程这里【郑煜哲·Xiaopang】和【瑜亮老师】给了一个提示,如下图所示:后来【隔壁......
  • # yyds干货盘点 # 大佬们,如何把某一列中包含某个值的所在行给删除
    大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据处理的问题,一起来看看吧。大佬们,如何把某一列中包含某个值的所在行给删除?比方说把包含电力这两个字的行给删除。这里【FANG.J】指出:数据不多的话,可以在excel里直接ctrlf,查找“电力”查找全部,然......
  • Linux配置静态IP解决无法访问网络问题
    Linux系统安装成功之后只是单机无网络状态,我们需要配置Linux静态IP来确保服务器可以正常连接互联网1、首先安装ifconfigCentos7安装成功后,高版本会把ping命令给移除了,所以需要安装net-tool插件,来确保可以使用ping命令测试当前服务器是否可以联网。安装命令:yuminstallnet-......
  • pgsql获取数据所有的表的字段和字段属性
    selectDISTINCTORDINAL_POSITIONasrn,table_nameas"tb_name",column_nameas"en_name",(caseudt_nameWHEN'numeric'THEN'number'WHEN'decimal'THEN'number'WHEN'int4'THEN......
  • # yyds干货盘点 # Pandas实现这列股票代码中10-12之间的股票筛出来
    大家好,我是皮皮。一、前言前几天在Python白银交流群【YVONNE......
  • 浏览器标签页切换获取数据
    refresh(){/*浏览器标签页切换会触发"visibilitychange"事件*/document.addEventListener('visibilitychange',e=>{//切换显示标签if(document.visibilityState==='visible'){this.getTabelData()......
  • # yyds干货盘点 # 有人能看出来这种是什么图吗?
    大家好,我是皮皮。一、前言前几天在Python铂金交流群【gyx】问了一个Python可视化的问题,一起来看看吧。问题描述:这种是什么图?哪个库可以画?图片如下:二、实现过程后来【Engineer】给了一个提示是神经网络图,然后【枫涧澈浪】补充道,使用py2neo可以制作这个图。关于py2neo的部分用法,如下......
  • #yyds干货盘点#VueRouter模拟实现
    hash模式URL中#号后面的内容作为路径地址监听hashchange事件根据当前路与地址找到对应的组件重新渲染history模式通过history.pushState()方法改变地址栏监听popstate事件根据当前路由地址找到对应组件重新渲染基本使用//1.注册路由插件Vue.use(VueRouter)//2.创建router对......