pandas 检查表单指定列是否有重复数据【实际业务实践】

一、业务需求

财务系统中提报业务时，需要检查业务附件中的两列是否在当前电子表格内重复。
比如检查 票据编号 + 子票区间 是否有重复。

二、业务数据

以下是脱敏的真实业务数据。

三、解决方案

1. 将两列拼接在一块；
2. 使用 pandas 检查拼接列是否有重复，如有则标记；
3. 取出重复的票据号。

参考代码：

import pandas as pd
from loguru import logger


def is_ticket_duplicate(df: pd.DataFrame) -> str:
    """[票据包号和子票区间]是否重复"""
    df = df[["票据包号", "子票区间"]]
    ticket_number = df["票据包号"] + "," + df["子票区间"]
    duplicate_flag = ticket_number.duplicated()
    if any(duplicate_flag):
        duplicate_number = "|".join(ticket_number[duplicate_flag].astype(str).tolist())
        logger.warning(f"发现重复票据号：{duplicate_number}")
        return duplicate_number
    return None

这里定义了一个函数，有重复数据时，返回重复的票据号（同一票据号重复多次时只返回一个），没有则返回 None。
调用此函数时，判断返回为 None 时说明无重复，不为 None 时，返回的就是重复的票据号。

调用效果如下图所示。