动手学深度学习—数据预处理

一、读取数据集

import os
import pandas as pd

# 创建一个数据集文件
os.makedirs(os.path.join('..', 'data'), exist_ok=True)        # 创建一个文件夹data，存储路径“..\data”
data_file = os.path.join('..', 'data', 'house_tiny.csv')      # 在文件夹data下，创建一个数据集文件house_tiny.csv
with open(data_file, 'w') as f:                               # 向数据集文件中写数据
f.write('NumRooms,Alley,Price\n') # 列名
f.write('NA,Pave,127500\n') # 每行表示一个数据样本
f.write('2,NA,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')

# 读取数据
data = pd.read_csv(data_file)
print(data)

二、处理缺失值

  注意，“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法，其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())                 # 将NaN空值，用该列的均值代替
print(inputs)

# 对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。
inputs = pd.get_dummies(inputs, dummy_na=True) 
print(inputs)

* 注意fillna函数的具体用法

三、转换类型

x, y = torch.tensor(inputs.values), torch.tensor(outputs.values) # <class 'torch.Tensor'> 将x, y转换为tensor张量类型
x1, y1 = np.array(inputs.values), np.array(outputs.values)       # <class 'numpy.ndarray'> 将x, y转换为numpy数组类型