PyPackage01---Pandas17_null、inf筛选

判断数据集是否存在null、inf，快速定位所在列、行，方便分析原因

无穷大、无穷小处理

import pandas as pd
import numpy as np

# Create dataframe using dictionary
data = {'Student ID': [10, 11, 12, 13, 14], 'Age': [
    23, 22, 24, 22, np.nan], 'Weight': [66, 72, np.inf, 68, -np.inf]}

df = pd.DataFrame(data)
df

是否存在inf

这里null也是非finite的

d = np.isfinite(df)
display(d)

都是有限数据

np.all(np.isfinite(df))

False

存在有限数据

np.any(np.isfinite(df))

True

定位行列

定位所在列

np.isfinite(df).sum()

Student ID    5
Age           4
Weight        3
dtype: int64

np.isfinite(df).all()

Student ID     True
Age           False
Weight        False
dtype: bool

定位所在行

np.isfinite(df).T.all()

0     True
1     True
2    False
3     True
4    False
dtype: bool

df[list(np.isfinite(df).all()[np.isfinite(df).all() == False].index)].loc[list(
    np.isfinite(df).T.all()[np.isfinite(df).T.all() == False].index), :]

这样找到无穷大值所在的行列，颇为麻烦

na值处理

df.isna().sum()

Student ID    0
Age           1
Weight        0
dtype: int64

df.isnull().sum()

Student ID    0
Age           1
Weight        0
dtype: int64

同样处理逻辑，直接看代码

np.isnan(df)

df[list(np.isnan(df).any()[np.isnan(df).any() == True].index)].loc[list(
    np.isnan(df).T.any()[np.isnan(df).T.any() == True].index), :]