首页 > 编程语言 >python实战:用requests+json抓取接口

python实战:用requests+json抓取接口

时间:2024-02-21 12:23:13浏览次数:37  
标签:group https python url json toutiao requests com

一,安装requests

1,用pip安装

(venv) liuhongdi@192 news % pip3 install requests

2,查看所安装库的版本:

(venv) liuhongdi@192 news % pip3 show requests
Name: requests
Version: 2.31.0
Summary: Python HTTP for Humans.
Home-page: https://requests.readthedocs.io
Author: Kenneth Reitz
Author-email: [email protected]
License: Apache 2.0
Location: /Users/liuhongdi/python_work/tutorial/news/venv/lib/python3.12/site-packages
Requires: certifi, charset-normalizer, idna, urllib3
Required-by:

说明:刘宏缔的架构森林—专注it技术的博客,
网址:https://imgtouch.com
本文: https://blog.imgtouch.com/index.php/2024/02/21/python-shi-zhan-yong-requests-json-zhua-qu-jie-kou/
代码: https://github.com/liuhongdi/ 或 https://gitee.com/liuhongdi
说明:作者:刘宏缔 邮箱: [email protected]

二,应用

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 import requests import json     url= "https://www.toutiao.com/api/pc/list/user/feed?category=profile_all&token=MS4wLjABAAAA_Q07NxeCa4hDPFoRcdphaZOk2X6C8BApfpTPTMLJswI&aid=24" wbdata = requests.get(url).text data = json.loads(wbdata) # print(data['data'])   for n in data['data']:     # print(n)     title = n['title']       abstract = n['abstract']     url = n['display_url']     # 判断是否存在?     if 'large_image_list' in n:          img_url = n['large_image_list'][0]['url']     else:         img_url = ''     print(url, title, abstract, img_url)

运行结果:

https://toutiao.com/group/7337517799251837440/ 天文学家发现最亮的类星体J059-4351 由每天吞噬一个太阳的超大质量黑洞驱动 天文学家利用欧洲南方天文台的 VLT 发现了迄今观测到的最亮、最发光的类星体,它由已知增长最快的黑洞驱动,以每天一个太阳的速度积累质量。天文学家利用欧洲南方天文台(ESO)的甚大望远镜(VLT)描述了一颗明亮类星体的特征,发现它不仅是同类天体中最亮的,也是迄今观测到的最亮的天体。 
https://toutiao.com/group/7337515081351463435/ 微软将在西班牙投资21亿美元扩建人工智能基础设施 路透社报道,美国软件巨头微软公司副董事长兼总裁布拉德-史密斯(Brad Smith)在社交网站 X 上发文称,该公司将在未来两年内投资 21 亿美元,扩大其在西班牙的人工智能(AI)和云计算基础设施。此前,该公司宣布将在未来两年内在德国投资 32 亿欧元(约合 34. 
https://toutiao.com/group/7337512384929808936/ 新证据表明柯伊伯带的冰冻世界可能孕育着生命 科学家们在太阳系外带的冰冻天体中发现了一些意想不到的活动。柯伊伯带是一个遥远的甜甜圈状区域,环绕着太阳系的大部分地区,居住着像冥王星(一颗矮行星)这样的冰封世界。科学家还没有探索过这个鲜为人知的区域。不过,他们相信有数百万个"死亡天体"在这里运行。 
https://toutiao.com/group/7337509886898700809/ 技嘉推出第 4 代 4000E M.2 NVMe 固态硬盘 技嘉今天推出了Gen 4 4000E系列超值型号M.2 NVMe 固态硬盘,正如其包装盒上所标注的那样,这些硬盘利用了 PCI-Express Gen 4 主机接口。这些硬盘构成了该公司新的入门级 M.2 NVMe SSD 系列。 
https://toutiao.com/group/7337509871039889958/ 分析师称索尼正准备在今年发布 PS5 Pro 为《GTA 6》做准备 分析人士称,索尼可能正在为今年发布的PlayStation 5 Pro做准备,以迎接 2025 年发布的《侠盗猎车手 6》。索尼显然希望这次发布能让消费者对PS5产生新的兴趣,并为2025年发布的《侠盗猎车手6》做准备,而PS5 Pro或许可以利用改进后的硬件。 
https://toutiao.com/group/7337509860147298870/ 保时捷为其插电式Panameras车系新增两款混合动力车型 保时捷发布了两款新的插电式混合动力 Panameras,这家德国汽车制造商希望通过提供更广泛的电气化选择来对冲日益出现的市场风险。 
https://toutiao.com/group/7337507220789772838/ Fedora Workstation的Anaconda Web UI安装程序推迟到秋季发布的41版 两年多来,红帽公司开发 Anaconda 安装程序的工程师们一直在开发一种基于 Web 的现代安装程序用户界面,它与 Cockpit 集成,是基于 GTK 的安装程序界面的现代替代品,可用于部署 Fedora Linux 并最终部署 RHEL。 
https://toutiao.com/group/7337507207434600994/ 人类肺部隐藏了一支“抗流感大军” 研究人员发现,肺部周围的囊中含有巨噬细胞,这些巨噬细胞会通过进入肺部来对抗流感感染,这为人们了解肺部健康和潜在的治疗方法提供了新的视角,这些治疗方法可以增强机体的免疫反应,从而对抗耐药性感染。 
https://toutiao.com/group/7337507226413744679/ 微软Edge正准备添加第二个搜索栏 做法与Firefox浏览器类似 微软 Edge 正在测试一项新功能,该功能可在地址栏旁边启用第二个搜索栏,类似于用户在 Mozilla Firefox 中看到的功能。我的 Microsoft Edge Canary 在更新后弹出了这个新的搜索栏,但在其他设备上没有看到,这意味着该功能正在进行 A/B 测试。 
https://toutiao.com/group/7337504623701705255/ 蓝莓为什么是蓝色的?科学家们找到了原因 布里斯托尔大学的研究人员发现,蓝莓蜡涂层中的微小外部结构是蓝莓呈现蓝色的原因。这种原理适用于许多颜色相同的水果,包括乌梅、黑刺李和杜松子。在今天发表在《科学进展》(Science Advances)上的这项研究中,研究人员展示了为什么蓝莓果皮中的色素呈暗红色,而蓝莓却呈蓝色。 
https://toutiao.com/group/7337504630102147647/ 翘速前进:天文学家解释银河系中心黑洞弯曲时空的方式 人马座A*是银河系中心的超大质量黑洞,它的旋转速度会扭曲周围的时空,影响银河系的动力学,并可能影响未来恒星的形成。 
https://toutiao.com/group/7337431861729198644/ 研究发现暴露于环境毒素的父亲可能会对其子女的健康造成影响 来自麦吉尔大学、比勒陀利亚大学、拉瓦尔大学、奥胡斯大学和哥本哈根大学的研究人员在一项研究中得出结论,暴露于环境毒素的父亲所产生的精子可能会对其子女的健康造成影响,这项研究预示着人类现在和未来几代人的生殖和健康可能会出现并发症。 
 阅读: 2

标签:group,https,python,url,json,toutiao,requests,com
From: https://www.cnblogs.com/architectforest/p/18024923

相关文章

  • Python数据结构与算法05——插入排序 shell排序
    插入排序 definsrt_sort(aimlist):n=len(aimlist)forcurinrange(1,n):i=curwhilei>0:ifaimlist[i]<aimlist[i-1]:aimlist[i],aimlist[i-1]=aimlist[i-1],aimlist[i]i-=1e......
  • 当systemd停止父python脚本时,子进程退出
    KillMode参数contorl-group(默认)#当前控制组里所有的子进程都会被杀掉process:#只杀主进程mixed:#主进程将收到SIGTERM(终止进程)信号,子进程将收到SIGKILL(无条件终止)信号none:  #没有进程会被杀掉,只是执行服务的stop命令 解决办法将KillMode改成process或non......
  • 使用python进行自动化备份和部署
    1、代码文件deploy.pyimportosfromdatetimeimportdatetimeimportshutilimportsysimportwin32serviceutilimportwin32serviceimporttimeimporttkinterastk#fromtkinterimportfiledialogimportconfigparserimportloggingimportctypes#创建......
  • python更换国内镜像
    永久更改1.在python的命令提示符中运行以下语句,该条语句将pip的下载源永久更改为某个镜像站,这里以清华大学开源镜像站为例:pipconfigsetglobal.index-urlhttps://pypi.tuna.tsinghua.edu.cn/simple/2.windows环境下,在用户目录中创建一个文件夹,该文件夹的命名为pip;在该pip......
  • Python数据结构与算法04——栈与队列
    栈的实现:classStack(object):def__init__(self):self.__list=[]defpush(self,item):self.__list.append(item)defpop(self):returnself.__list.pop()defpeek(self):ifself.__list:returnself._......
  • Python数据结构与算法05——查找与排序
    冒泡排序:defbible_sort(aimlist):n=len(aimlist)j=len(aimlist)whilej>0:foriinrange(n-1):ifaimlist[i]>aimlist[i+1]:aimlist[i],aimlist[i+1]=aimlist[i+1],aimlist[i]n-=1j-=1r......
  • linux(Ubuntu)安装python2.7和pip2
    由于数据处理需要的软件有些老代码,需要安装python2,原服务器上已有python3,本想着使用源码包进行编译安装,奈何make时总是报如下错误,搞半天也没解决 或者  继续往下makeinstall后程序也无法正常执行,于是索性使用apt方式进行安装,过程如下:首先查看当前版本Ubuntu可支持的pyt......
  • python 爬虫模板
    前言在我们写爬虫的时候,一般想要的数据都在详情页里面,一般代码进入详情页参数,需要首页里面寻找,所以爬这样的网站,需要定义一个模板我的模板如下: importrandomimporttimeimportrequestsfromauctionimportlogtoolfromauction.BaseCrawlerimportBaseCrawlercla......
  • python实战:使用json序列化
    一,官方文档:https://docs.python.org/zh-cn/3/library/json.html二,json与字典的相互转化1,字典转json字符串1234567importjson #字典转jsond=dict(name='Tom',age=2,score=88)json_d=json.dumps(d)print(type(json_d))print(json_d)......
  • python中的内置函数zip函数
    关于zip()函数,有几点要讲的。首先,官方文档中,它是这样描述的:Makeaniteratorthataggregateselementsfromeachoftheiterables.Returnsaniteratoroftuples,wherethei-thtuplecontainsthei-thelementfromeachoftheargumentsequencesoriterables.The......