1.sort命令--对行内容进行升序排序

以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序。
比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

XXX | sort 选项
sort 选项文件
sort [选项] 参数
cat file | sort 选项

2.uniq命令--对连续的重复行进行去重

用于报告或者忽略文件中连续的重复行，常与 sort 命令结合使用

XXX | uniq 选项
uniq 选项文件
uniq [选项] 参数
cat file | uniq 选项

常用来对来自标准输入的字符进行替换、压缩和删除

XXX | tr 选项 '参数1' ['参数2']
tr [选项] [参数]

常用选项
-c	保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
-d	删除所有属于字符集1的字符
-s	将重复出现的字符串压缩为一个字符；用字符集2 替换字符集1
-t	字符集2 替换字符集1，不加选项同结果。

cat 文件 | grep -v "^$"
cat 文件 | tr -s "\n"

cat 文件 | tr -d '\r' > 新文件
dos2unix 文件

echo ${数组名[@]} | tr ' ' '\n' | sort -rn | tr '\n' ' '

显示行中的指定部分，删除文件中指定字段
XXX | cut 选项参数
cut 参数
cat file | cut 选项
-d '分隔符' -f 字段序号 #根据 -d 指定的分隔符的截取显示 -f 指定的字段

字符串分片
echo ${变量:下标:长度}                       #下标起始从0开始
echo $变量 | cut -b 起始下标-终止下标        #下标起始从1开始
expr substr $变量 起始下标 长度              #下标起始从1开始

常用选项
-f	通过指定哪一个字段进行提取。cut命令使用“TAB”作为默认的字段分隔符
-d	“TAB”是默认的分隔符，使用此选项可以更改为其他的分隔符
--complement	取反，不显示 -f 指定的字段
--output-delimiter '分隔符'	指定输出的字段分隔符

如何将一个10G文件分割为10个1G的文件

split -b 1G -d 原文件目标文件名前缀

如何将一个100行文件分割为10个10行的文件

split -l 10 -d 原文件目标文件名前缀

paste 选项文件1 文件2...
paste [-s] [-d <间隔字符>] 文件...

常用选项
-d <间隔字符>	用指定的间隔字符取代制表符
-s	把多行内容合并为一行进行显示

合并文件的行   
cat 文件1 文件2  ... > 新文件

合并文件的列   
paste -d '分隔符' 文件1 文件2 ... > 新文件

命令字前加上eval时，shell会在执行命令之前扫描它两次。eval命令将首先会先扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量。该命令对变量进行两次扫描。

eval   在命令行执行前，先将命令行里的变量置换成对应的值后，再执行命令
a=100
b=a
eval echo \$$b  置换成-->  echo $a  执行-> 100
eval $b=50  置换成--> a=50 执行
echo $a -> 50

标签：选项,文件,命令,处理,tr,--,分隔符
From： https://www.cnblogs.com/zsy828/p/18193480