首页 > 其他分享 >pandas数据处理

pandas数据处理

时间:2023-08-20 17:00:10浏览次数:35  
标签:utc df 时间 datetime64 数据处理 dt ns pandas

读取数据中的时间

pd.read_csv('demo.csv'
,parse_dates = ['col1'] # 待转换为**datetime64[ns]**格式的列→col1
,infer_datetime_format=True # 将parse_dates指定的列转换为时间
)

data = pd.read_csv(workbook, parse_dates = ['start_time', 'con_over_time'],infer_datetime_format=True, low_memory=False)

计算相差秒数

两种不同时间格式的计算结果当然是一样的。

#datetime64[ns]格式计算相差秒数
df['ns时间秒差'] = df['A_ns'] - df['B_ns']
df['ns时间秒差'] = pd.to_timedelta(df['ns时间秒差'])
df['ns时间秒差'] = df['ns时间秒差'].dt.total_seconds() 
#datetime64[ns, UTC]格式计算相差秒数
df['ns_utc时间秒差'] = df['A_ns_utc'] - df['B_ns_utc']
df['ns_utc时间秒差'] = pd.to_timedelta(df['ns_utc时间秒差'])
df['ns_utc时间秒差'] = df['ns_utc时间秒差'].dt.total_seconds() 
df

提取年和月份

import numpy as np

# 创建一个datetime64对象
dt = np.datetime64('2022-07-15 12:30')

# 提取年份
year = np.datetime_as_string(dt, unit='Y')

# 提取月份
month = np.datetime_as_string(dt, unit='M')

print("Year:", year)
print("Month:", month)

 

 

标签:utc,df,时间,datetime64,数据处理,dt,ns,pandas
From: https://www.cnblogs.com/scarecrow-blog/p/17644257.html

相关文章

  • # yyds干货盘点 # Pandas实战——灵活使用pandas基础知识轻松处理不规则数据
    大家好,我是皮皮。一、前言前几天在Python最强王者群【wen】问了一个pandas数据合并处理的问题,一起来看看吧。他的原始数据如下所示:然后预期的结果如下所示:二、实现过程这里【瑜亮老师】给了一个指导如下:原始数据中包含所有所需的信息,但是因为源系统导出的格式问题,有些数据被分配到......
  • pandas常用速查
    pandas常用速查引入依赖#导入模块importpymysqlimportpandasaspdimportnumpyasnpimporttime#数据库fromsqlalchemyimportcreate_engine#可视化importmatplotlib.pyplotasplt#如果你的设备是配备Retina屏幕的mac,可以在jupyternotebook中,使用下面......
  • 67个常用pandas命令
    导入数据pd.DataFrame()#自己创建数据框,用于练习pd.read_csv(filename)#从CSV⽂件导⼊数据pd.read_table(filename)#从限定分隔符的⽂本⽂件导⼊数据pd.read_excel(filename)#从Excel⽂件导⼊数据pd.read_sql(query,connection_object)#从SQL表/库导⼊数据p......
  • pandas生成表格: 字典键值列表需对齐,而二维表格无此要求 键值需至少有一个为列表,否
    生成表格:字典键值列表需对齐,而二维表格无此要求键值需至少有一个为列表,否则需指定index,否则ValueErrordf_test=pd.DataFrame({'a':[1,2],'b':[3,None]})#生成表格:#字典键值列表需对齐,而二维表格无此要求#键值需至少有一个为列表,否则需指定index,否则ValueError:If......
  • 【pandas小技巧】--统计值作为新列
    这次介绍的小技巧不是统计,而是把统计结果作为新列和原来的数据放在一起。pandas的各种统计功能之前已经介绍了不少,但是每次都是统计结果归统计结果,原始数据归原始数据,没有把它们合并在一个数据集中来观察。下面通过两个场景示例来演示如果把统计值作为新列的数据。1.成绩统计的......
  • pandas判断某列是否已按从小到大排序
    #检查排序方法df_1=obj.df_投料[['倒卷前卷号']].reset_index(names='排序前序号')df_1['长度']=ser_1.map(len)df_1.sort_values(by=['排序前序号','倒卷前卷号']).排序前序号.is_monotonic_increasing#pandas判断某列是否已按从小到大排序......
  • 【pandas小技巧】--数据转置
    所谓数据转置,就是是将原始数据表格沿着对角线翻折,使原来的行变成新的列,原来的列变成新的行,从而更方便地进行数据分析和处理。pandas中DataFrame的转置非常简单,每个DataFrame对象都有一个T属性,通过这个属性就能得到转置之后的DataFrame。下面介绍几个数据转置常用的场景,感受下转置......
  • 数据处理详解分析
    数据处理数据处理是将数据从给定形式转换为更有用和更期望的形式的任务,即使其更有意义和信息。使用机器学习算法,数学建模和统计知识,整个过程可以自动化。这个完整过程的输出可以是任何所需的形式,如图形,视频,图表,表格,图像等等,这取决于我们正在执行的任务和机器的要求。数据处理是机......
  • 使用Pandas进行数据清理的入门示例
    数据清理是数据分析过程中的关键步骤,它涉及识别缺失值、重复行、异常值和不正确的数据类型。获得干净可靠的数据对于准确的分析和建模非常重要。本文将介绍以下6个经常使用的数据清理操作:检查缺失值、检查重复行、处理离群值、检查所有列的数据类型、删除不必要的列、数据不一......
  • 大数据处理之高效查询频度排序
    引言在互联网时代,数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件,其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题,我们将借助大数据处理技术,并给出代码示例......