Linux统计文件内容重复行

时间：2024-04-24 18:55:06浏览次数：17

标签：sort 文件 uniq 重复 mac Linux txt

需求：在一个文件中，如下文件内容有许多乱序的重复值，那我们想要快速知道哪些是重复值怎么办？试问你能靠眼里10秒内找到吗？哈哈哈

解决方案：先使用 sort 命令将文件内容进行排序，再使用 uniq 命令进行统计重复值

　　uniq 常用参数

　　　　-c　　　　#在每行前统计重复的次数

　　　　-d　　　 #只输出重复的行，每个重复值只输出一次

　　　　-i　　　　#不区分大小写

　　　　-u　　　　#只显示没有重复的行

sort maclist.txt | uniq -c

* 删除重复值

sort maclist.txt | uniq >mac.txt        #sort文件内容排序后，使用uniq删除重复行并将输出结果写入新文件mac.txt

或者用 sort -u maclist.txt >mac.txt

标签：sort,文件,uniq,重复,mac,Linux,txt
From： https://www.cnblogs.com/xiykj/p/18156102

关于文件系统在创建目录文件和普通文件时的区别
在上一篇探究linux解释器时同样涉及到了一些其他问题比如为什么在ls-lh时目录的大小都是4.0k? 之前想过可能是最小或者最大只能显示出4.0k的，但是就如上图显示的，这两种都是不可能的直到我在使用stat命令查看文件大小时忽然想到，用这个命令能不能查看文件夹的大小？然后发现还真......
修改文件内容 python
第一种方法，简单直接粗暴的，缺点就是如果文件非常大时，把所有内容都读出来，会非常占用内存：f=open('a.txt','a+',encoding='utf-8')#不能用w+，用w+直接给文件清空了，读不出来内容了f.seek(0)result=f.read()new_result=result.replace('abc','ABC')f.seek(0)f.truncate......
linux 离线安装 mysql8.0
一、下载linuxmysql8.0离线安装包mysql下载地址：https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.20-linux-glibc2.12-x86_64.tar.xzmysql官方下载最新版本：https://dev.mysql.com/downloads/mysql/ 然后选择linux把下载的压缩包上传到要安装的服务器上，解压mysql t......
linux命令从log文件中找出404 或者500的所有报错信息？
你可以使用grep命令结合正则表达式来找出包含"404"或"500"的所有报错信息，并显示这些行的内容。以下是示例命令：grep-E'404|500'/path/to/logfile.log这个命令会在指定的日志文件/path/to/logfile.log中查找包含"404"或"500"的所有行，并将这些行显示出来。g......
linux 查看日志的命令参数有哪些？
在Linux中，常用的查看日志的命令有多种，每个命令都有不同的参数来满足不同的需求。以下是几个常用的命令及其参数：tail：-f：实时跟踪日志文件的变化，持续显示最新的内容。-n<number>：指定显示最后几行日志，默认为10行。less：+F：实时跟踪日志文件的变化，类似于tail-f。+<nu......
处理文件的小工具
处理文件的小工具背景在实际工作中，我们经常需要处理一些文件，比如过滤一些log，找到一批文件中的特定数据等。为了提高工作效率以及灵活性，编写一个小工具来简化这些操作。主要针对程序员，自己可以动态调整方法，这里是一个框架，记录一下，省的以后用的时候找不到了。实现利用委托deleg......
Linux 输入、输出、错误重定向
参考https://blog.csdn.net/SW_LCC/article/details/104353386错误重定向为了重定向标准错误，可以指定文件描述符2。grep命令没有找到该文件，缺省地向终端输出了一个错误信息。现在让我们把错误重定向到文件/dev/null中(实际就上是系统的垃圾箱)：$grep“trident”missiles2>/d......
linux开机give root password for maintenance如何解决
linux系统无法启动提示giverootpasswordformaintenance的多种解决方法终端输入reboot后出现GIVErootpasswordformaintenance(ortypecontrol-Dtocontinue):输入密码出现提示符后再reboot才能重启。主要引发该问题的错误由于错误的编辑/etc/fstab文件由于......
ELF文件格式解析器原理 + 代码
参考:https://bbs.kanxue.com/thread-259901.htm写在前面：读《Linux二进制》，发现作者对ELF文件格式部分并没有做详细介绍，为了加深对elf文件格式理解，我自己着手写了个解析器，会和readelf工具协同对比。原理： ELF文件（目标文件）格式主要三种：1.可重定向文件(Re......
4.prometheus监控--监控linux服务器
一、监控linux服务器1.1二进制安装#客户端操作wgethttps://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gztarxvfnode_exporter-1.7.0.linux-amd64.tar.gzls-lmvnode_exporter-1.7.0.linux-amd64/*/opt/......

Linux统计文件内容重复行

相关文章

赞助商

阅读排行