首页 > 其他分享 >爬取股票全ATick数据

爬取股票全ATick数据

时间:2024-10-08 20:19:56浏览次数:11  
标签:数据 filename datetime 爬取 import dt ATick data stock

爬取股票全ATick数据

概述

在金融市场分析中,Tick数据是非常重要的资源,它记录了股票在每一交易时间内的价格变动。对于量化交易者和分析师来说,获取并分析这些数据是至关重要的。本文将介绍如何使用Python爬取股票的Tick数据,并将其存储到本地。

环境准备

在开始之前,请确保你已经安装了Python环境以及以下库:

  • xtquant.xtdata:用于获取股票行情数据。
  • json:用于处理JSON数据。
  • multiprocessing:用于并行处理。
  • csv:用于操作CSV文件。
  • os:用于操作系统级别的功能。

步骤1:导入必要的库

这里使用的是迅投qmt系统,本程序也是基于qmt发布的行情,变量SUBSCRIBE_LIST即为订阅的标的代码

from datetime import datetime, timezone, timedelta
import xtquant.xtdata as xd
import json
import multiprocessing as mp
from Account_and_Trader_information import SUBSCRIBE_LIST
import csv
import os

步骤2:设置基础变量

today = datetime.now().strftime('%Y%m%d')
data_latest = {
   }

这里我们定义了today变量来存储当前日期,data_latest用于存储最新的股票数据。

步骤3:定义时间戳转换函数

def timestamp_to_datetime(timestamp):
    dt_object = datetime.fromtimestamp(timestamp / 1000.0, tz=timezone(timedelta(hours=8)))
    dt_string = dt_object.strftime('%Y-%m-%d %H:%M:%S')
    return dt_string

这个函数将时间戳转换为可读的日期时间格式。

步骤4:定义保存数据为JSON的函数

def save_dict_as_json(data, filename):
    with open(filename, 'w', encoding='utf-8') as f:
        json.dump(data, f, ensure_ascii=False, indent=4)

步骤5:定义存储股票信息到CSV的函数

def store_stock_info_csv(data):
    for stock_id in data.keys():
        stock_info = data[stock_id]
        filename = f'./data/fiveab/{
     today}/{
     stock_id}.csv'
        if not os.path.exists(filename):
            

标签:数据,filename,datetime,爬取,import,dt,ATick,data,stock
From: https://blog.csdn.net/weixin_39346529/article/details/142768285

相关文章

  • 软考08——数据库
    数据库安全◆静态转储:即冷备份,指在转储期间不允许对数据库进行任何存取、修改操作;优点是非常快速的备份方法、容易归档(直接物理复制操作);缺点是只能提供到某一时间点上的恢复,不能做其他工作,不能按表或按用户恢◆动态转储:即热备份,在转储期间允许对数据库进行存取、修改操作,因此转储......
  • 通过sysbench工具实现MySQL数据库的性能测试
    1.背景 sysbench是一款压力测试工具,可以测试系统的硬件性能,也可以用来对数据库进行基准测试。sysbench支持的测试有CPU运算性能测试、内存分配及传输速度测试、磁盘IO性能测试、POSIX线程性能测试、互斥性测试测试、数据库性能测试(OLTP基准测试)。目前支持的数据库主要是My......
  • Spark的前瞻--- 数据处理方式,HDFS读写流程,MR计算原理,YRAN资源调度原理,分布式计算
    目录一,数据处理的方式1,单机数据处理2,集群数据储存1,HDFS的读写流程 4,分布式资源调度YRAN1,YRAN原理图二,分布式计算框架1,MapReduce分布式计算2,Spark分布式计算spark的部署方式1,spark资源调度yran模式三,Spark的开发方式1,交互式开发2,脚本式开发......
  • Day 7.5 数据类型总结 + 拷贝 浅拷贝 深拷贝
    目录一.数据类型总结二.浅拷贝和深拷贝(只针对可变类型一.数据类型总结存一个之还是多个值:一个值:整形,浮点型,字符串多个值:列表,元组,字典,集合有序or无序有序:字符串。列表,元组无序:字典,集合可变or不可变可变:列表,字典,集合不可变:整形,浮点型,字符串二.浅......
  • 前端的全栈混合之路Meteor篇:分布式数据协议DDP深度剖析
    本文属于进阶篇,并不是太适合新人阅读,但纯粹的学习还是可以的,因为后续会实现很多个ddp的版本用于web端、nodejs端、安卓端和ios端,提前预习和复习下。ddp协议是一个C/S架构的协议,但是客户端也同时可以是服务端。什么是DDP?DDP(DistributedDataProtocol)是Meteor框架中......
  • 计算机毕业设计 基于Hadoop的智慧校园数据共享平台的设计与实现 Python毕业设计 Pytho
    博主介绍:✌从事软件开发10年之余,专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌......
  • 最新整理-全国及各城市POI数据(2023年含七大主要城市数据)
    文章目录数据下载地址数据指标说明一、全国范围2012、2014、2016、2018、2020、2022年常用POI数据集二、全国各城市POI兴趣点数据三、2023年七大主要城市POI数据项目备注数据下载地址数据下载地址点击这里下载数据数据指标说明POI(一般作为PointofInterest的缩写......
  • 如何学习大数据 (学习路线)
    学习大数据是一个广泛的过程,需要从概念、工具、技术栈到实战项目逐步深入。以下是一条系统的学习路径,帮助你逐步掌握大数据领域的关键知识和技术。学习路径1.理解大数据的基本概念和原理在正式学习大数据技术之前,先了解一些基础的概念和理论,以便建立对大数据的全面理解......
  • Prometheus + Grafana 监控 MySQL 数据库
    文章目录1、前置介绍2、搭建流程2.1、安装Docker2.2、安装MySQL2.3、安装MySQLExporter2.4、安装Prometheus2.5、安装Grafana1、前置介绍本次监控平台搭建,我使用2台阿里云服务器来完成本次的搭建部署操作,配置如下:阿里云ECS1:2核2G,Ubuntu22.02,内网ip:172.16.0......
  • 上海相机卡​不识别数据恢复
    当相机卡(如SD卡)出现不识别的情况时,数据恢复是一个关键的问题。以下是一些建议的步骤和方法,用于尝试恢复相机卡上的数据:一、初步检查与尝试1.重新插拔相机卡:首先,将相机卡从相机或读卡器中取出,检查是否有灰尘或污垢附着在金属触点上。使用干净的棉签或软布轻轻擦拭金属触点,确保触点干......