首页 > 其他分享 >多个npy文件合并

多个npy文件合并

时间:2024-08-23 13:22:46浏览次数:12  
标签:load 文件 合并 label source npy np data

问题描述:当利用

data = pd.read_excel(patch, header=0, sheet_name=sheet)

读取excel数据进行处理制作成npy数据集时会面临一个问题:

excel单个sheet写入的行数不允许超过65536,这个数字对于硬件工程师来说比较熟悉,是2的16次方,16位平台下,int型的最大值是32767, 而unsigned int型的最大值是65535。

所以,如果你保存的数据超过最大行数,必然得用多个sheet,或者选用txt文件格式。下面展示了如何对多个npy文件进行合并一个文件:

def Merge_npy_files():
    data_1 = np.load('./data_source/data_guding0_4.npy')
    data_2 = np.load('./data_source/data_guding5_6.npy')
    data_3 = np.load('./data_source/data_guding7_8.npy')
    label_1 = np.load('./data_source/label_gudig0_4.npy')
    label_2 = np.load('./data_source/label_gudig5_6.npy')
    label_3 = np.load('./data_source/label_gudig7_8.npy')
    print(label_1.shape, label_2.shape, label_3.shape)

    data_arr = [];labele_array=[]
    data_source = [data_1,data_2,data_3]; label_source = [label_1,label_2,label_3]
    for i in range(len(data_source)):
        data_arr.extend(data_source[i])
        labele_array.extend(label_source[i])

    np.save('./data_source/data_guding0_8.npy',np.array(data_arr))
    np.save('./data_source/label_guding0_8.npy',np.array(labele_array))
    """查看生成的文件"""
    data_show = np.load('./data_source/data_guding0_8.npy')
    label_show = np.load('./data_source/label_guding0_8.npy')
    print(data_show.shape, label_show.shape)
    print(label_show)

结果:(458, 36, 50) (458,)

标签:load,文件,合并,label,source,npy,np,data
From: https://blog.csdn.net/2301_79275917/article/details/141460991

相关文章

  • c++ chrono头文件内Duration 、time_point和Clock
    前言        http://t.csdnimg.cn/eprLZ中介绍了关于chrono的基本操作,本文来介绍chrono与其他类的关系。内容Duration    duration表示一段时间间隔template<classRep,classPeriod=std::ratio<1>>classduration        Rep表示持续时......
  • 转载:国产麒麟v10、UOS系统在线比较两个Word文件的内容差异
    调用PageOffice的WordCompare方法,同时在线打开两个Word文档,可以切换显示其中的一个文档,或者显示两个文档的对比结果,即可实现在线的文档内容比较功能。此功能可以应用在以下方面:文档管理中,比较两个版本Word文档的差别。 在处理文档管理的Web项目中,比较两个版本的Word,指的不是Wo......
  • 利用ibd2sql直接读取mysql8数据文件数据
    MySQL8.0之后,表结构和表数据统一放到了ibd文件中,该文件包含了表的结构和索引以及数据信息。MySQL支持利用ibd2sdi来进行解析ibd文件下载地址:https://github.com/ddcw/ibd2sql/archive/refs/tags/v1.5.tar.gz[[email protected]]#ibd2sdi/data/mysqldata/data/test01/t......
  • 【标准知识】航天产品设计文件编号
    按照QJ1714-2011《航天产品设计文件管理制度》,梳理一下设计文件的编号要求。01设计文件按照QJ1714的规定,设计文件是由设计部门编制的,用以规定产品的组成、型式、结构尺寸、技术要求、原理以及制造、调试、试验、验收、使用、维护、贮存和运输时所需的技术数据和说明的技......
  • 一个开源完全免费的无损视频或音频的剪切/裁剪/分割/截取和视频合并工具
    大家好,今天给大家分享一款致力于成为顶尖跨平台FFmpeg图形用户界面应用的软件工具LosslessCut。LosslessCut是一款致力于成为顶尖跨平台FFmpeg图形用户界面应用的软件工具,专为实现对视频、音频、字幕以及其他相关媒体资产的超高速无损编辑而精心打造。项目介绍LosslessCut ......
  • SpringMvc 以配置类的形式代替xml文件
    1、配置类1.1、创建Mvc项目之后创建MyWebApplicationInitializer类实现接口WebApplicationInitializerpublicclassMyWebApplicationInitializerimplementsWebApplicationInitializer{@OverridepublicvoidonStartup(ServletContextservletContext)thr......
  • Java学习笔记5—数据库日志文件
    1.slowlog慢SQL记录2.binlog*记录数据库执行的写操作(不包括查询)信息,以二进制的形式保存在磁盘中。使用场景:主从复制(在Master端开启binlog,然后将binlog发送到各个Slave端,Slave端重放binlog来达到主从数据一致。)和数据恢复(mysqlbinlog)binlog日志有三种格式,分......
  • CMake编译不同文件目录下的C++文件
        由于我们构建一个项目的时候,通常不会将所有的源文件放在一个文件目录下,这样既不方便开发,也不方便源码阅读,我们通常会对项目文件进行分层,比如分为include、src、res、lib这些目录,src下又分为model、controller、view这些目录。所以跨文件编译C++文件就相当必要了,如......
  • 麒麟操作系统解压zip格式压缩文件(以Ubuntu系统示范)
    麒麟操作系统解压zip格式压缩文件(以Ubuntu系统示范)最近,某某反映单位配的菊花牌电脑,用的麒麟系统,解压不了zip格式文件,为此,我回家用ubuntu系统示范以下,尽可能详细!国产Linux对新人不够友好阿!首先查看zip文件所在目录,如下图,我的文件在目录/home/yang/下载/测试中打开终端Ct......
  • D3 k8s之pod共享网络和文件的实现原理
    》pod是一个逻辑概念,不是一个隔离的环境。引入pod目的是满足容器之间密切协作关系所需的环境,尤其是网络通信和文件共享的需求1、容器之间网络通信》 假设nginx应用程序启用了http_stub_status_module模块,以提供关于nginx运行状态的统计信息。同时,获取这些统计信息的访问路......