数据通用清洗规则

一、空值校验

空值校验通常涉及以下几个方面：

识别空值：

首先，需要识别数据集中的空值。空值可以表现为NULL、空字符串、特定的标记（如“N/A”或“缺失”）等。

分析空值原因：

在识别空值后，需要分析空值产生的原因。这有助于确定是否需要填充空值或如何处理空值。空值的原因可能包括数据录入错误、测试数据、传感器故障、数据不可用等。

空值处理策略：

根据空值的原因和数据集的特点，选择合适的空值处理策略。

常见的处理策略包括：

删除含有空值的行或列。

使用均值、中位数、众数等统计量填充空值。

使用插值方法、回归方法或机器学习模型预测空值。

根据其他字段或外部数据源来填充空值。

二、去除重复数据

在数据中可能存在重复的记录，可以通过对比各字段值来判断是否存在重复数据，并进行删除或合并操作。重复数据可能会导致分析结果的不准确和资源的浪费。

以下是数据清洗去重的一般步骤：

1、确定重复数据的标准：

在某些情况下，整行数据完全相同即为重复。在其他情况下，某些关键字段（如ID、姓名、地址、身份证号码等）相同也可能被视为重复。

使用唯一标识符：

如果数据集中存在唯一标识符（如主键、唯一索引等），可以基于这些标识符来快速识别和删除重复数据。

验证去重结果：

在去重之后，需要验证数据集以确保重复数据已被正确删除。可以通过随机抽样、计算去重前后的数据行数差异或使用专门的验证工具来进行验证。

处理特殊情况：

有时，某些看似重复的数据可能实际上具有不同的意义或上下文。在这种情况下，需要仔细审查数据，并确定是否应该将其视为重复数据进行删除。

三、 缺失值处理

缺失值可能由多种原因导致，例如数据记录的不完整、设备故障、人为错误等。处理缺失值需要根据数据类型和缺失值的原因选择合适的方法，常见的处理方式包括删除、填充、插值等。处理缺失值的方法多种多样，下面是一些常见的策略：

1、删除含有缺失值的记录或列：

如果数据集中缺失值的比例较小，或者缺失值的分布较为随机，直接删除含有缺失值的行或列是一种简单直接的方法。然而，这会导致数据集的大小减少，可能影响到后续分析结果的完整性和准确性。

2、填充缺失值：

使用统计值填充：如均值、中位数或众数来替代缺失值。这种方法适用于缺失值占比较小的情况，能够保持数据集的基本分布特征。

插值方法：利用已有的数据点估计缺失值。插值方法包括线性插值、多项式插值和样条插值等，适用于数据点之间存在较为连续的关系。或者从从已有的数据中提取。如人的性别、出生日期、年龄可从身份证号码中提取填充。

四、错误值处理

数据中可能存在错误的数值或不合理的数值，需要进行检查和修正，确保数据的准确性。错误值可能是由于数据录入错误、传感器故障、数据转换错误等原因产生的。处理错误值的方法取决于错误值的性质和上下文。以下是一些常见的错误值处理方法：

验证和修正：

首先，需要验证错误值的来源和原因。这可能需要与数据源提供者或数据录入人员沟通。一旦确定错误的原因，可以手动修正这些错误值，或者使用自动化工具和算法进行修正。

使用默认值或替代值：

如果某些错误值无法修正或验证，可以考虑使用默认值或替代值进行填充。

删除错误值：

如果错误值的数量较少，或者删除这些错误值不会对后续的分析和建模造成严重影响，可以考虑直接删除这些错误值。

然而，需要注意的是，删除错误值可能会导致数据集的偏差，因此应谨慎使用这种方法。

五、 数据格式统一

统一数据的格式，比如将所有文本转换为小写或大写格式，去除空格或特殊符号，全脚转半角等。

以下是一些常见的数据格式统一方法和应用场景：

日期格式统一：

数据集中可能存在多种日期格式，如“YYYY-MM-DD”、“DD/MM/YYYY”等。为了确保日期的正确解析和比较，需要将所有日期数据转换为统一的格式（YYYYMMDD）。

时间格式统一：

时间数据可能存在多种格式，如“小时:分钟:秒”、“小时/分钟/秒”等。为了确保时间的正确解析和比较，需要将所有时间数据转换为统一的时间格式（YYYY-MM-DD HH:MI:SS）。

数字格式统一：

在数据集中，数字可能以文本形式存在，或者存在不同的数字格式（如逗号分隔的千位分隔符、科学计数法等）。为了确保数字的正确计算和比较，需要将数字数据转换为统一的格式，通常是去掉千位分隔符、将科学计数法转换为普通数字等。

文本格式统一：

文本数据可能存在大小写不一致、特殊字符、标点符号不统一等问题。为了确保文本数据的一致性和可比性，可以进行大小写转换、全半角转换、特殊字符去除、标点符号统一、去除空白字符等处理。

判断型数据统一：

判断型数据如“是/否”、“T/F”、“0/1”等。为了方便后续的分析，可以将这种类型数据转换为数值编码（否：0/是：1）。

分类数据统一：

分类数据（如性别、职业等）通常以文本形式存在，如“男”、“女”、“工程师”等。为了方便后续的分析和建模，可以将这些文本分类数据转换为数值编码，如将“男”编码为1，“女”编码为2。