首页 > 编程语言 >如何用Python爬取全部ETF基金实时数据!

如何用Python爬取全部ETF基金实时数据!

时间:2024-09-19 09:54:24浏览次数:9  
标签:Python 我们 爬取 url ETF etf 基金

一般来说,我们都是交易ETF基金,就是可以在股票交易所买卖的那种基金,而不是基金公司或者天天基金网提供的基金。

因为ETF基金的交易方式类似股票,当时会比股票更有优势,这个具体我们就不展开讲,不然跑题了。言归正传,我们来爬取全部800多只ETF基金的数据。

1).打开东财的网站,点击基金,选择ETF市场

图片

然后也是点鼠标右键/检查,查看网络,进行接口分析,我们需要通过爬虫爬取全部基金的代码编号,方便我们后面遍历获取。

打开Network,找到带有push字眼的链接,可以用上面的搜索工具,去搜这个关键字

图片

右边这个request url 就是我们要的链接,点一下payload可以看到有856只基金。

图片

下面就开始写代码,爬取全部ETF基金列表

图片

我们把上面网页上分析得到url拷贝下来,然后给它构建一个times_tamp时间戳(长度为13的字符串整数),因为这个是动态的,所以实时构建一下,然后把拼装好的url 喂给spide_etf() 这个函数去请求,然后获得整个列表。

图片

我们一般尝试5次,如果出错了就停5秒,然后继续再抓取,一旦成功就立刻返回列表内容。我们看一下输出的结果:

图片

一共856只ETF基金数据,好获取了整个基金列表之后,我们只需要遍历就可以获得所有的基金的历史数据。

2).爬取每个基金的数据

这里我们可以讨一个巧,因为ETF基金跟股票一样,可以直接用我们上面访问股票的url链接格式进行请求历史数据,只需要换一个code就可以了,然后构建一下新的etf基金的url , 然后爬取即可:

图片

因为有沪市和深市的编码有区分,所以如果是sh开头的etf我们这边要加1. ,而深圳的需要加0. 。

所以物联网ETF工银sz159709 就是0.159709,然后其他的都是跟前面一样,也是用spide_etf这个函数去处理,拿到的结果content 我们会喂给change_data_to_df()函数,因为需要再转为df格式。

这个函数就是干的数据清洗转换的功能,最后我们看一下结果:

图片

爬取的这个ETF基金的12月11号的数据,开盘时0.737 收盘时0.762 最低0.737,成交量时15190 我们核对一下网上的数据。

图片

标签:Python,我们,爬取,url,ETF,etf,基金
From: https://blog.csdn.net/cui137610/article/details/142326851

相关文章

  • Python单体类编写技巧与类装饰器应用
    在软件开发中,有时希望某个类只能生成一个实例,这种模式被称为单体模式(SingletonPattern)。单体类确保整个程序中只有一个类实例,从而在多线程环境或全局配置中保持状态一致。Python作为一门灵活的编程语言,提供了多种实现单体类的方法,包括使用类装饰器来简化单体类的实现。本文将......
  • 离线安装Python Library教程
    当你的设备不能联网,你该如何下载原来一行pip命令就能下载的Python库?别慌,没有你想象的那么麻烦。下面我将介绍常用的两种方法:通过源代码和通过wheel文件。一.通过wheel文件(.whl)首先搜索你想要下载的python库的pypi页面这里以numpy为例:进入页面后,点击Downloadfiles,进入......
  • Python 单元测试详解:Unittest 框架的应用与最佳实践
    Python单元测试详解:Unittest框架的应用与最佳实践文章目录Python单元测试详解:Unittest框架的应用与最佳实践一什么是Unittest1不使用Unittest测试框架2使用Unittest测试框架二unittest使用建议1先写测试case后写测试逻辑2测试文件以_test.py结尾......
  • Python 异常控制详解:try-except 的应用与多种异常处理策略
    Python异常控制详解:try-except的应用与多种异常处理策略文章目录Python异常控制详解:try-except的应用与多种异常处理策略一可遇见的异常二处理多个异常1多个异常一起处理2多个异常分开处理三try-except-else四try-except-finally五raise手动抛出异常六Pyt......
  • [Python数据可视化] Plotly:交互式数据可视化的强大工具
    引言:在数据分析和可视化的世界中,Plotly是一颗耀眼的明星。它是一个开源的交互式图表库,支持多种编程语言,包括Python、R和JavaScript。Plotly的强大之处在于它能够创建出既美观又具有高度交互性的图表,使得数据探索和分析变得更加直观和有趣。本文将详细介绍Plotly的功能,......
  • python 深度神经网络训练,pytorch ,tensorflow paddle大模型训练中损失突然增大的原因
    在机器学习和深度学习的训练过程中,损失函数的数值突然变高可能是由多种因素引起的。以下是一些可能的原因和相应的解决方案:1.**学习率设置不当**:如果学习率过高,可能会导致模型在优化过程中跳过最小值,甚至导致模型发散。相反,如果学习率过低,则可能导致模型训练速度过慢,甚至停滞......
  • Python用TOPSIS熵权法重构粮食系统及期刊指标权重多属性决策MCDM研究|附数据代码
    原文链接:https://tecdat.cn/?p=37724原文出处:拓端数据部落公众号 分析师:SikunChen在当今世界,粮食系统的稳定性至关重要。尽管现有的全球粮食系统在生产和分配方面表现出较高的效率,但仍存在大量人口遭受饥饿以及诸多粮食安全隐患。与此同时,在学术领域,准确评估情报学期刊的质......
  • Python中的元类:掌握类的创建与定制
    在面向对象编程中,类是组织代码的重要手段。但在Python中,类本身也是对象,这意味着它们可以被创建、修改甚至定制。元类(Metaclass)是Python中的一种高级特性,它允许你在类被创建时对其进行修改或增强。本文将带你深入了解元类的概念、作用以及如何在实践中使用元类。元类是什么......
  • python爬虫连载22
    XPath运算符XPath运算符XPath运算符表达式可以返回节点集、字符串、逻辑值、数字。运算符描述实例含义|计算两个节点集//student/name|//student/age选取student元素的所有      name和age元素+加法/classroom/student[age=19+1]选取classroom元素的所有student元素,且......
  • python毕业设计基于django+vue软件技术代码分享交流平台设计与实现
    目录技术栈和环境说明预期达到的目标具体实现截图系统设计Python技术介绍django框架介绍flask框架介绍解决的思路性能/安全/负载方面可行性分析论证python-flask核心代码部分展示python-django核心代码部分展示操作可行性技术路线感恩大学老师和同学详细视频演示源码获取......