前言

脚本为自用脚本，用于在Linux上完成文件内容的去重工作，但是此文件对二进制文件无效，只针对文本文件进行去重

脚本内容

#!/bin/bash

# 检查参数是否正确
if [ $# -ne 1 ]; then
  echo "用法：$0 <文件名>"
  exit 1
fi

# 获取指定文件的文件名
filename=$1

# 使用 sort 和 uniq 命令对文件内容进行去重
uniq < $filename > tmp.txt

# 将去重后的内容覆盖原文件
mv tmp.txt $filename

# 输出提示信息
echo "文件 $filename 的内容已经去重。"

使用方法

将上面的脚本内容保存成Deduplication.sh。然后赋予该脚本执行权限

chmod 777 Deduplication.sh

对文本文件进行去重

比如这里对1.txt进行去重

./Deduplication.sh 1.txt