首页 > 其他分享 >数据分析-Pandas类别数据序列合并

数据分析-Pandas类别数据序列合并

时间:2024-03-25 18:59:21浏览次数:32  
标签:数据分析 实战 dtype GPT pd 类别 Pandas

数据分析-Pandas类别数据序列合并

数据分析和处理中,难免会遇到各种数据,那么数据呈现怎样的规律呢?不管金融数据,风控数据,营销数据等等,莫不如此。如何通过图示展示数据的规律?

数据表,时间序列数据在数据分析建模中很常见,例如天气预报,空气状态监测,股票交易等金融场景。数据分析过程中重新调整,重塑数据表是很重要的技巧,此处选择Titanic数据,以及巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2​数据作为样例。

数据分析

数据分析-Pandas如何转换产生新列

数据分析-Pandas如何统计数据概况

数据分析-Pandas如何轻松处理时间序列数据

数据分析-Pandas如何选择数据子集

数据分析-Pandas如何重塑数据表-CSDN博客

实验数据分析处理,股票序列,时间序列,信号序列,有时候表格的数据并不完全是数值类型,也有可能是字符串,或者其他数据,需要做分类处理。pandas如何控制数据分类处理呢?需要配置哪些参数?

数据梳理

优化的 pandas 的.loc.iloc.at.iat, 使得数据访问方式正常。唯一的区别是返回类型(用于获取),和可以赋值已有的数值。categories

分类数据的合并

默认情况下,合并相同类别的数据返回也是该类别。否则,返回结果是取决于两者的类别情况。

两个相同类别的序列合并

In [1]: from pandas.api.types import union_categoricals
# 类别相同
In [2]: s1 = pd.Series(["a", "b"], dtype="category")
In [3]: s2 = pd.Series(["a", "b", "a"], dtype="category")
In [4]: pd.concat([s1, s2])
Out[4]: 
0    a
1    b
0    a
1    b
2    a
dtype: category
Categories (2, object): ['a', 'b']


两个不同类别的序列合并,变成普通序列

# 不同类别合并
In [5]: s3 = pd.Series(["b", "c"], dtype="category")
In [6 pd.concat([s1, s3])
Out[6]: 
0    a
1    b
0    b
1    c
dtype: object

两个不同类别的序列合并,强制转换类别:

# 类型转换,输出类型通过类别进行推断
In [7]: pd.concat([s1, s3]).astype("category")
Out[7]: 
0    a
1    b
0    b
1    c
dtype: category
Categories (3, object): ['a', 'b', 'c']

In [8]: union_categoricals([s1.array, s3.array])
Out[8]: 
['a', 'b', 'b', 'c']
Categories (3, object): ['a', 'b', 'c']
    

两个数值类型的分类数据序列合并,自动推断类别

# 输出类型通过类别进行推断
In [1]: int_cats = pd.Series([1, 2], dtype="category")
In [2]: float_cats = pd.Series([3.0, 4.0], dtype="category")
In [3]: pd.concat([int_cats, float_cats])
Out[3]: 
0    1.0
1    2.0
0    3.0
1    4.0
dtype: float64

序列拼接总结

下表总结类别数据的合并情况的结果:

arg1arg2相同结果
类别类别Truecategory
类别(对象)类别(对象)Falseobject(推断 dtype )
类别 (int)类别(浮动)Falsefloat (dtype 被推断)

以上代码只是一个简单示例,示例代码中的表达式可以根据实际问题进行修改。

后面介绍下其他的展示形式。

觉得有用 收藏 收藏 收藏

点个赞 点个赞 点个赞

End

GPT专栏文章:

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-LangChain + ChatGLM3构建天气查询助手

大模型查询工具助手之股票免费查询接口

GPT实战系列-简单聊聊LangChain

GPT实战系列-大模型为我所用之借用ChatGLM3构建查询助手

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(二)

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(一)

GPT实战系列-ChatGLM2模型的微调训练参数解读

GPT实战系列-如何用自己数据微调ChatGLM2模型训练

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

GPT实战系列-Baichuan2等大模型的计算精度与量化

GPT实战系列-GPT训练的Pretraining,SFT,Reward Modeling,RLHF

GPT实战系列-探究GPT等大模型的文本生成-CSDN博客

标签:数据分析,实战,dtype,GPT,pd,类别,Pandas
From: https://blog.csdn.net/Alex_StarSky/article/details/137021305

相关文章

  • ChatGPTGPT4科研应用、数据分析与机器学习、论文高效写作、AI绘图技术教程
    原文链接:ChatGPTGPT4科研应用、数据分析与机器学习、论文高效写作、AI绘图技术教程https://mp.weixin.qq.com/s?__biz=MzUzNTczMDMxMg==&mid=2247598798&idx=2&sn=014f5ae90306a3b1e8fd87ab58561411&chksm=fa820329cdf58a3f72799a43016b223057fd1bd022849e607d1e62193dcdc3b26b......
  • Python利用pandas处理数据与分析
    pandas是基于NumPy的一种工具,该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。简单地说,你可以把Pandas看作是Python版的Excel。 pandas......
  • 基于R语言的GD库实现地理探测器并自动将连续变量转为类别变量
      本文介绍基于R语言中的GD包,依据栅格影像数据,实现自变量最优离散化方法选取与执行,并进行地理探测器(Geodetector)操作的方法。  首先,在R语言中进行地理探测器操作,可通过geodetector包、GD包等2个包实现。其中,geodetector包是地理探测器模型的原作者团队开发的,其需要保证输入的......
  • 爬虫实战+数据分析:全国消费支出分析及未来预测
    在本篇文章中,爬虫的讲解不仅仅局限于爬虫本身,还会引申至另一个重要领域:数据分析。对我们而言,爬虫的核心价值实际上在于获取数据,一旦获得了数据,接下来必然是要加以利用。数据分析便是其中关键一环,因此在爬虫的讲解之后,我们将会稍作涉及与数据分析相关的知识要点。今天主要任务是爬......
  • python综合实战案例-数据分析
    Python是进行数据分析的好工具,今天就是借助一个案例给大家进行数据分析讲解。本例设计一个log.txt⽂件,该文件记录了某个项⽬中某个api的调⽤情况,采样时间为每分钟⼀次,包括调⽤次数、响应时间等信息,⼤约18万条数据。下⾯进⾏探索性数据分析。一、分析api调用次数import......
  • python数据挖掘实验一:数据分析及可视化应用
    1.导入pandas包importpandasaspd2.根据给定的原始数据集创建一个DataFrame类型对象dfdata={'id':[10001,10002,10003,10004,10005,10006,10007,10008,10009,10010],'name':['LY','CE','ZS','LS','WU','......
  • 不可不知的数据分析演进史:重塑世界的里程碑与先驱者
    今天我们来介绍一下数据分析是如何演进而来的,在历史的进程中是如何演变成现代大数据智能时代的。为致敬数据分析的历史伟人,这张图也是通过数据分析代码生成,有兴趣的可以关注公众号数据分析螺丝钉获取全文6600字,阅读时间5分钟数据分析演进的关键节点与人物背景在这......
  • python每日可视化分析:从过去到现代数据分析的演进
    分析目标本文旨在探索数据分析发展历程中的关键时刻,包括重要人物的贡献和大事件的发生。通过对比不同年代的数据分析技术和方法,我们可以更好地理解数据分析如何成为今天决策制定不可或缺的一部分。分析步骤收集数据:搜集关于数据分析历史上重要人物和事件的信息。数据与可......
  • 数据分析和机器学习库Pandas的使用
    Pandas库是一个免费、开源的第三方Python库,是Python数据分析和机器学习的工具之一。Pandas提供了两种数据结构,分别是Series(一维数组结构)与DataFrame(二维数组结构),极大地增强的了Pandas的数据分析能力。importpandasaspdimportnumpyasnpSeriesSeries是一......
  • 数据分析-Pandas分类数据的类别处理
    数据分析-Pandas分类数据的类别处理数据分析和处理中,难免会遇到各种数据,那么数据呈现怎样的规律呢?不管金融数据,风控数据,营销数据等等,莫不如此。如何通过图示展示数据的规律?数据表,时间序列数据在数据分析建模中很常见,例如天气预报,空气状态监测,股票交易等金融场景。数据分析......