首页 > 其他分享 >Panda数据处理

Panda数据处理

时间:2024-07-15 12:51:57浏览次数:16  
标签:test1 sheet name excel pandas pd 数据处理 Panda

一、 Pandas简介

Pandas,python+data+analysis的组合缩写,是python中基于numpy和matplotlib第三方数据分析库,与后者共同构成python数据分析基础工具包,享有数据三剑客之名。正因为pandas是在numpy基础上实现的,其核心数据结构与numpy的ndarray十分相似,但pandas与numpy的关系不是替代,而是互为补充。Pandas就数据处理上比numpy更强大智能,而numpy比pandas更为基础强大。

二、安装Pandas

使用pip install numpy和pip install pandas安装numpy和pandas库

安装完成后会有pandas、numpy、python-deteutil、six这几个三方库

引入pandas

import numpy as num
import pandas as pd

二、pandas读写数据

Pandas支持非常丰富的文件类型,也就是说,他可以读取保存多种类型的数据,比如excel文件、CSV文件,或者json文件、sql文件、html文件等。这对我们获取数据很方便,这里只讲解excel的一些常用用法,其他类型文件大同小异。

1、 read_excel():读取excel

a、 sheet_name:访问指定excel某张工作表。Sheet_name可以是str、int、list、None类型,默认值是0

举例如下:

1、读取一张sheet页

新建一张excel表,表名为test1,sheet页名为test1

import pandas as pd
df=pd.read_excel("test1.xlsx",sheet_name="test1")
print(df)

 输出结果如下:

2、读取多张表

添加sheet页2 test2

import pandas as pd
df=pd.read_excel("test1.xlsx",sheet_name=["test1","test2"])
print(df)

 输出结果:

3、指定页签读取数据,下标签从0开始

import pandas as pd

df2=pd.read_excel("test1.xlsx",sheet_name=[0,1])
print(df2)

 输出结果:

这里也可以指定页签读取数据

4、如果想读取所有页签的值,将sheet_name指定成None

import pandas as pd

df3=pd.read_excel("test1.xlsx",sheet_name=None)
print(df3)

 输出结果:

5、不指定sheet_name时,默认读取第一个页签数据

import pandas as pd

df4=pd.read_excel("test1.xlsx")
print(df4)

 输出结果:

 

b、Header:是标题行,通过指定具体的行索引,将该行作为数据的标题行,也就是整个数据的列名。默认首行数据(0-index)作为标题行,如果传入的是一个整数列表,那这些行将组合成一个多级列索引。没有标题行使用header=None

import pandas as pd

df5=pd.read_excel("test1.xlsx",sheet_name=0,header=[0,1])
print(df5)

 运行结果:

如果是多表头

import pandas as pd
df5=pd.read_excel("test1.xlsx",sheet_name=0,header=[0,1])
print(df5)

 运行结果:

c、 Names:指定列名的列表,如果数据文件中不包含列名,通过names指定列名,同时应该设置header=None。Names中不允许有重复值。

import pandas as pd
df6=pd.read_excel("test1.xlsx",sheet_name=0,header=0,names=["cols1","cols2","cols3"])
print(df6)

直接使用names进行指定会显示所有的列,包括无效选中列

d、usecols:要解析的列。默认值None所有列进行解析。使用usecols可以大大加快解析时间并降低内存使用率。

import pandas as pd
df7=pd.read_excel("test1.xlsx",sheet_name=0,header=0,usecols=["cols1","cols2","cols3"])
print(df7)

e、 skiprows:可以选择跳过的列

import pandas as pd
df8=pd.read_excel("test1.xlsx",sheet_name=0,header=0,skiprows=[1,3])
print(df8)

 可以看到输出的行中跳过了第1行和第3行

三、pandas数据结构

  

 

  

 

标签:test1,sheet,name,excel,pandas,pd,数据处理,Panda
From: https://www.cnblogs.com/longlyseul/p/18302942

相关文章

  • Python酷库之旅-第三方库Pandas(023)
    目录一、用法精讲58、pandas.isnull函数58-1、语法58-2、参数58-3、功能58-4、返回值58-5、说明58-6、用法58-6-1、数据准备58-6-2、代码示例58-6-3、结果输出59、pandas.notna函数59-1、语法59-2、参数59-3、功能59-4、返回值59-5、说明59-6、用法59-6-1、......
  • python库(13):Tablib库简化数据处理
    1 Tablib简介数据处理是一个常见且重要的任务。无论是数据科学、机器学习,还是日常数据分析,都需要处理和管理大量的数据。然而,标准库中的工具有时显得不够直观和简便。这时,我们可以借助第三方库来简化数据处理流程。Tablib就是这样一个强大的数据处理库,它提供了一套简单易用......
  • sqlalchemy pandas转化字典转为orm写入到sqlite数据库报错类型错误的解决办法
    使用pandas读取csv数据,然后将其转化为字典,再写入到数据库的时候,数据库总是报错类型错误,于是转为orm之前,统一转化一下类型fromsqlalchemyimportDECIMAL,Index,String,Date,Integer,Text,CHAR,SmallInteger,Float,Time,case,and_,extract,TypeDecoratorfrom......
  • 从 Pandas 到 Polars 十四:在Polars中拟合线性模型
    ​线性模型是数据科学和机器学习的基石。它们易于理解且拟合速度快。有了这个出色的新Polars插件,你现在可以直接在Polars中拟合线性模型,包括Lasso回归和Ridge回归。这项工作是由AmzyRajab在这个github仓库中完成的。如果你想跟着学习,第一步是安装这个插件。你可以通过以下命......
  • 9、Oracl中的数据处理
    最近项目要用到Oracle,奈何之前没有使用过,所以在B站上面找了一个学习视频,用于记录学习过程以及自己的思考。视频链接:【尚硅谷】Oracle数据库全套教程,oracle从安装到实战应用如果有侵权,请联系删除,谢谢。学习目标:使用DML语句向表中插入数据更新表中数据从表中删除数据......
  • 国产渲染引擎ssRender(Lua+LuaPanda调试篇)
        秉承着说多了都是故事的理念,直接上干货。    今天给大家带来的是一篇关于Lua+Vscode+LuaPanda的远程调试篇,或许对你有一些启发。    资源给大家放在链接里:LuaPanda+LuaSocketDebug资源文件http://[email protected]:hwYang1995/ssRender_Lua_Debug_......
  • 掌握字典:开启数据处理的新大门
    一.字典的定义在Python中,字典是一种非常重要的数据结构,它提供了一种存储键值对的方式。与列表(List)和元组(Tuple)等线性数据结构不同,字典通过键(Key)来访问其元素,而不是通过索引。这种特性使得字典成为处理需要快速查找、插入和删除元素的数据集时的理想选择。字典在许多编程语言中......
  • Sentinel-1 Level 1数据处理的详细算法定义(二)
    《Sentinel-1Level1数据处理的详细算法定义》文档定义和描述了Sentinel-1实现的Level1处理算法和方程,以便生成Level1产品。这些算法适用于Sentinel-1的Stripmap、InterferometricWide-swath(IW)、Extra-wide-swath(EW)和Wave模式。今天介绍的内容如下:S......
  • 算法金 | 来了,pandas 2.0
    大侠幸会,在下全网同名「算法金」0基础转AI上岸,多个算法赛Top「日更万日,让更多人享受智能乐趣」今日210+/10000,内含Pandas是一个强大的数据分析库,广泛应用于科学研究、金融分析、商业智能等领域。它提供了高效的数据结构和数据分析工具,使得处理和分析数据变得更加简......
  • pandas导出excel
    工具类cvsutil.py#!/usr/bin/envpython#-*-coding:utf-8-*-importcsvimportcodecsimportioclassUTF8Recoder:"""IteratorthatreadsanencodedstreamandreencodestheinputtoUTF-8"""def__init_......