首页 > 其他分享 >深度学习:数据预处理(pandas)

深度学习:数据预处理(pandas)

时间:2023-11-09 15:03:37浏览次数:33  
标签:data dst 预处理 深度 csv os pandas

pandas 是为数据分析而设计的,因此有两个功能:数据预处理、数据统计。

然而,在AI领域中只需要 pandas 的数据预处理功能。

文件相关

目录创建

import os

dst=os.path.join("..", "data")
os.makedirs(dst, exist_ok=True, mode=0o777)#0o是8进制

写入文本

with open("test.csv", "w") as f:
    f.write("N,A,P\n")
    f.write("2,NA,1\n")

Pandas

pandas读取csv

import pandas as pd
data = pd.read_csv("test.csv")
print(data)

处理缺失值


// TODO 



标签:data,dst,预处理,深度,csv,os,pandas
From: https://blog.51cto.com/shoucuohulu/8279158

相关文章

  • 昇腾黑科技揭秘,DVPP硬件加速训练数据预处理
    本文分享自华为云社区《昇腾CANN7.0黑科技:DVPP硬件加速训练数据预处理,友好解决HostCPU预处理瓶颈》,作者:昇腾CANN。在NPU/GPU上进行模型训练计算,为了充分使用计算资源,一般采用批量数据处理方式,因此一般情况下为提升整体吞吐率,batch值会设置的比较大,常见的batch数为256/512,这样一......
  • form表单 数组中对象校验 深度校验
    <el-formref="dataFormRef":model="form":rules="dataRules"formDialogReflabel-width="100px"v-loading="loading"> <el-form-itemlabel="负责人"prop="directorName"> <el-......
  • pandas样式 设置
    pd.set_option('expand_frame_repr',False)#True换行显示,False不允许换行pd.set_option("display.max_columns",None)#dataFrame的列,None显示完整的列,数字表示显示最大列数pd.set_option('display.max_rows',None)#None显示完整的行,数字表示显示最大......
  • 深度解析自然语言处理之篇章分析
    在本文中,我们深入探讨了篇章分析的概念及其在自然语言处理(NLP)领域中的研究主题,以及两种先进的话语分割方法:基于词汇句法树的统计模型和基于BiLSTM-CRF的神经网络模型。关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复......
  • 深度解析自然语言处理之篇章分析
    在本文中,我们深入探讨了篇章分析的概念及其在自然语言处理(NLP)领域中的研究主题,以及两种先进的话语分割方法:基于词汇句法树的统计模型和基于BiLSTM-CRF的神经网络模型。关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,......
  • 机器学习——深度卷积神经网络AlexNet
    AlexNet相对于LeNet的主要优势包括:1.更深的网络结构AlexNet有8层结构,而LeNet只有5层。网络更加深入有利于学习更抽象的高级特征。2.使用ReLU激活函数AlexNet使用ReLU激活函数,避免梯度消失问题,使得深层网络的训练更加容易。3.引入Dropout操作AlexNet在全连接层使用Dro......
  • 如何深度学习Python?
    安装必要软件:首先需要安装Anaconda或Miniconda等科研计算环境,并创建虚拟环境以便管理不同项目所需库和版本。可以按照如下步骤进行操作:下载并安装Anaconda或Miniconda。打开命令行工具(Windows系统中为cmd),输入condacreate--nameenv_namepython=3.x创建一个新的Pyt......
  • 动手学深度学习-预备知识-数据操作
    动手学深度学习,笔记第一章:预备知识第一节数据操作:(1)入门操作:1.首先导入torch库,我们使用pytorch主要使用这个库的函数importtorch张量表示一个由数值组成的数组,这个数组可能有多个维度。具有一个轴的张量对应数学上的向量(vector);具有两个轴的张量对应数学上的矩阵(matrix);具......
  • 【躬行】-深度缓冲和模板缓冲是怎么存储的?
    概述最近在工作中需要实现一个功能,用到了模板测试。但奇怪的是,模板测试竟然不起作用!在解决问题的过程中,发现了一些有趣的知识点。通过本文,可以了解在unity中,深度缓冲和模板缓冲到底是怎么存储的。测试环境的搭建Unity版本:2021.3.16f1URP版本:12.1.8RenderDoc:1.29需要注意的是......
  • Python 利用pandas和matplotlib绘制双柱状图
    在数据分析和可视化中,常用的一种图形类型是柱状图。柱状图能够清晰地展示不同分类变量的数值,并支持多组数据进行对比。本篇文章将介绍如何使用Python绘制双柱状图。准备工作在开始绘制柱状图之前,需要先安装matplotlib和pandas这两个Python库。可以通过pip安装:pipinstallmatp......