目录
数据清洗与预处理是数据分析中的关键步骤，其目的是确保数据的质量，提高数据分析的准确性和可靠性。Pandas 是 Python 中非常流行的数据处理库，提供了丰富的数据清洗与预处理功能。本文将详细介绍 Pandas 在数据清洗与预处理中的应用，并通过代码和案例帮助新手朋友理解和掌握这些技巧。
一、数据清洗与预处理的重要性
在数据分析过程中，数据清洗与预处理占据了大部分时间。数据通常来源于多个不同的数据源，存在以下问题：
- 缺失值：数据集中可能存在缺失值，需要填充或删除。
- 重复值：数据集中可能存在重复的记录，需要删除。
- 异常值：数据集中可能存在异常值（离群值），需要处理。
- 数据类型不一致：数据集中的列可能包含不同类型的数据，需要统一数据类型。
- 数据格式不一致：数据集中的日期、时间、字符串等格式可能不一致，需要规范化。
通过数据清洗与预处理，可以确保数据的一致性和准确性，为后续的数据分析和建模打下良好的基础。
二、Pandas 简介
Pandas 是一个开源的 Python 数据处理库，提供了高性能、易用的数据结构和数据分析工具。Pandas 的核心数据结构包括：
- Series：一维数组，可以存储任何数据类型（整数、浮点数、字符串、Python 对象等），每个元素都有一个标签（索引）。
- DataFrame：二维的、表格型的数据结构，可以看作是由多个 Series 组成的字典（每个 Series 成为一列）。
Pandas 提供了丰富的函数和方法，用于数据的读取、写入、清洗、预处理、统计分析和可视化等。
三、Pandas 数据清洗与预处理技巧
1. 读取数据
在进行数据清洗与预处理之前，首先需要读取数据。Pandas 提供了多种读取数据的方法，如 read_csv、read_excel、read_sql 等。
import pandas as pd
# 读取 CSV 文件
df = pd.read_csv('data.csv')
# 读取 Excel 文件
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
# 读取 SQL 数据库
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql('SELECT * FROM table_name', conn)2. 查看数据
在读取数据后，通常需要查看数据的基本信息，以便了解数据的结构和内容。
# 查看数据的前几行
print(df.head())
# 查看数据的后几行
print(df.tail())
# 查看数据的列名
print(df.columns)
# 查看数据的索引
print(df.index)
# 查看数据的基本信息（行数、列数、数据类型等）
print(df.info())
# 查看数据的统计信息（最小值、最大值、平均值、四分位数等）
print(df.describe())3. 处理缺失值
缺失值是数据清洗中常见的问题。Pandas 提供了多种处理缺失值的方法，如删除缺失值、填充缺失值等。
# 查看缺失值的情况
print(df.isnull().sum())
# 删除包含缺失值的行
df_dropna = df.dropna()
# 删除包含缺失值的列
df_dropna_axis1 = df.dropna(axis=1)
# 填充缺失值（使用均值、中位数、众数等）
df_fillna_mean = df.fillna(df.mean()) # 使用均值填充
df_fillna_median = df.fillna(df.median()) # 使用中位数填充
df_fillna_mode = df.fillna(df.mode().iloc[0]) # 使用众数填充
# 填充缺失值（使用前一个或后一个非缺失值）
df_fillna_ffill = df.fillna(method='ffill') # 使用前一个非缺失值填充
df_fillna_bfill = df.fillna(method='bfill') # 使用后一个非缺失值填充4. 处理重复值
重复值也是数据清洗中常见的问题。Pandas 提供了 drop_duplicates 方法来删除重复值。
# 查看重复值的情况
print(df.duplicated().sum())
# 删除重复值（保留第一个出现的记录）
df_drop_duplicates = df.drop_duplicates()
# 删除重复值（保留最后一个出现的记录）
df_drop_duplicates_keep_last = df.drop_duplicates(keep='last')
# 删除重复值（根据指定列判断重复）
df_drop_duplicates_subset = df.drop_duplicates(subset=['column1', 'column2'])5. 处理异常值
异常值（离群值）可能对数据分析结果产生较大影响。Pandas 本身没有直接提供检测异常值的方法，但可以结合其他库（如 NumPy、SciPy）或自定义函数来检测和处理异常值。
import numpy as np
# 使用箱线图（IQR）方法检测异常值
Q1 = df['column'].quantile(0.25)
Q3 = df['column'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
# 过滤异常值
df_filtered = df[(df['column'] >= lower_bound) & (df['column'] <= upper_bound)]
# 替换异常值（使用均值、中位数等）
df['column'] = np.where((df['column'] < lower_bound) | (df['column'] > upper_bound), df['column'].median(), df['column'])6. 处理数据类型不一致
数据类型不一致可能导致数据运算出错。Pandas 提供了 astype 方法来转换数据类型。
# 查看数据类型
print(df.dtypes)
# 转换数据类型
df['column'] = df['column'].astype('float64') # 转换为浮点型
df['column'] = df['column'].astype('int64') # 转换为整型
df['column'] = df['column'].astype('str') # 转换为字符串型
# 转换多列的数据类型
df = df.astype({'column1': 'float64', 'column2': 'int64', 'column3': 'str'})7. 处理数据格式不一致
数据格式不一致（如日期、时间格式）会影响数据的分析和处理。Pandas 提供了 to_datetime、strftime 等方法来处理日期和时间数据。
# 将字符串转换为日期类型
df['date_column'] = pd.to_datetime(df['date_column'], format='%Y-%m-%d')
# 将日期类型转换为字符串
df['date_column'] = df['date_column'].dt.strftime('%Y-%m-%d')
# 提取日期中的年、月、日
df['year'] = df['date_column'].dt.year
df['month'] = df['date_column'].dt.month
df['day'] = df['date_column'].dt.day8. 数据标准化和归一化
数据标准化和归一化是数据预处理中的常见操作，用于消除不同量纲的影响，提高模型的收敛速度和性能。Pandas 本身没有直接提供数据标准化和归一化的方法，但可以结合 NumPy 或 Scikit-learn 库来实现。
from sklearn.preprocessing import StandardScaler, MinMaxScaler
# 数据标准化（Z-score 标准化）
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df[['column1', 'column2']]) # 对指定列进行标准化
df_scaled = pd.DataFrame(df_scaled, columns=['column1_scaled', 'column2_scaled'])
# 数据归一化（Min-Max 归一化）
scaler = MinMaxScaler()
df_normalized = scaler.fit_transform(df[['column1', 'column2']]) # 对指定列进行归一化
df_normalized = pd.DataFrame(df_normalized, columns=['column1_normalized', 'column2_normalized'])9. 数据编码
对于分类变量（离散变量），通常需要进行编码处理，以便将其转换为模型可以处理的数值型数据。Pandas 提供了 factorize 方法和 get_dummies 函数来进行数据编码。
# 因子化编码（将分类变量转换为数值型变量和对应的标签）
labels, unique = pd.factorize(df['category_column'])
df['category_column_encoded'] = labels
# 独热编码（One-Hot Encoding）
df_dummies = pd.get_dummies(df, columns=['category_column'])四、案例：使用 Pandas 进行数据清洗与预处理
假设我们有一个名为 sales_data.csv 的数据集，包含以下列：date, store, product, sales, price, promotion。我们将对这个数据集进行一系列的数据清洗与预处理操作。
1. 读取数据
df = pd.read_csv('sales_data.csv')2. 查看数据
# 查看前几行数据
print(df.head())
# 查看数据的基本信息
print(df.info())
# 查看数据的统计信息
print(df.describe())3. 处理缺失值
# 查看缺失值情况
print(df.isnull().sum())
# 假设我们决定删除包含缺失值的行
df = df.dropna()4. 处理重复值
# 查看重复值情况
print(df.duplicated().sum())
# 删除重复值（保留第一个出现的记录）
df = df.drop_duplicates()5. 处理异常值
# 假设我们要处理 'sales' 列中的异常值
Q1 = df['sales'].quantile(0.25)
Q3 = df['sales'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
# 替换异常值（使用中位数替换）
df['sales'] = np.where((df['sales'] < lower_bound) | (df['sales'] > upper_bound), df['sales'].median(), df['sales'])6. 处理数据类型不一致
# 假设 'price' 列应该是浮点型，但读取时是字符串型
df['price'] = df['price'].astype('float64')7. 处理数据格式不一致
# 将 'date' 列转换为日期类型
df['date'] = pd.to_datetime(df['date'], format='%Y-%m-%d')
# 提取年份、月份和日期作为新列
df['year'] = df['date'].dt.year
df['month'] = df['date'].dt.month
df['day'] = df['date'].dt.day
# 如果不再需要原始的 'date' 列，可以删除它
# df = df.drop(columns=['date'])8. 数据标准化
# 对 'sales' 和 'price' 列进行标准化处理
scaler = StandardScaler()
scaled_features = scaler.fit_transform(df[['sales', 'price']])
# 将标准化后的数据转换为新的 DataFrame
scaled_df = pd.DataFrame(scaled_features, columns=['sales_scaled', 'price_scaled'])
# 如果需要将标准化后的数据与原数据合并
# df = pd.concat([df, scaled_df], axis=1)
# 注意：这里我们仅展示了如何标准化，实际使用时可能需要根据需求决定是否合并9. 数据编码
# 对 'store' 和 'product' 列进行独热编码
df_encoded = pd.get_dummies(df, columns=['store', 'product'])10. 保存处理后的数据
# 将处理后的数据保存到新的 CSV 文件中
df_encoded.to_csv('cleaned_sales_data.csv', index=False)总结
通过上述步骤，我们演示了如何使用 Pandas 对一个数据集进行完整的数据清洗与预处理流程。这包括读取数据、查看数据、处理缺失值、处理重复值、处理异常值、处理数据类型不一致、处理数据格式不一致、数据标准化、数据编码以及保存处理后的数据。这些步骤是数据分析中不可或缺的一部分，能够帮助我们确保数据的质量，为后续的分析和建模打下良好的基础。
标签：Python,column,预处理,df,date,工具箱,数据,Pandas From： https://blog.csdn.net/weixin_43856625/article/details/143393279