首页 > 系统相关 >Linux 使用 Split 命令分割文件与合并

Linux 使用 Split 命令分割文件与合并

时间:2023-03-29 16:35:24浏览次数:35  
标签:文件 分割 log split 使用 命令 Split Linux out

Linux Split 命令用于将大文件分割成较小的文件(默认每1000行切割成一个小文件),比如在网络质量不佳的情况下需要传输一些较大的视音频文件、程序文件等内容,分割后可以方便我们进行处理和传输。

简单使用

最常用最直接的使用命令,比如把日志文件按100M来拆分。

split -b 100M out.log out.log.

 

我这里把一个331M的日志文件拆分后效果如上图所示,默认是以字母来标记分片的,如果想要以数字为结尾的,如“XXX.xx.01”,可以加上“-d”的参数。

split -b 100M -d out.log out.log.

 

也可以使用命令指定把文件分割成 n 份,如

split -n 5 -d out.log out.log.

 

对于日志文件其实可以压缩,这样体积可以更小,压缩后的文件我们可以使用管道命令同时对其分片,更加便于传输。这里需要注意的是,如果你熟悉 tar 命令则可以很快理解且不会忘记参数后面的“-”,通常情况下这里填写的是压缩后文件的名称,这里使用“-”与之对应管道后面split命令中的“-”的是相互对应的标准输出文件,所以命令中两个“-”不可遗漏,也不可以用同一个名称代替。当然这里使用管道也可以使用两个命令分开执行,分开执行则无需标准输出了,只不过看起来更加优雅一些。

tar -zcf - out.log | split -b 10M - out.log.tar.gz.

 

文件合并

那能拆分当然要会合并,就和小时候拆家里的电话机什么的,装回去多了零件可不行,这里使用 cat 命令就可以简单快速的“组装”回去了。这里以上方第一个示例为例,合并出来的名称为“out_merge.log”。

cat out.log.* > out_merge.log

 

MD5校验

文件拆分合并后,保险起见我们应当对其计算一下MD5,保证数据传输的一致性,我们没办法保证文件在传输过程中是否损坏,所以尤其是对一些分片数量多,文件体积大的文件合并后应当做一下校验。这里对合并文件前后md5计算,结果如下图所示。

md5sum out.log
md5sum out_merge.log

 

小结

Split 命令还有其他一些参数,因平时使用较少未列出,有兴趣可以通过 “split --help” 命令查看更加详细的说明,当然上述提及的分割大小可以按自己的需求,使用其他大小单位(K,M,G等)均可。

 

标签:文件,分割,log,split,使用,命令,Split,Linux,out
From: https://www.cnblogs.com/shenyuanfeng/p/17269420.html

相关文章

  • Linux操作命令常见问题(N+)
    1.什么是Linux?它的特点是什么?答:Linux是一种开源的操作系统,其特点包括稳定性、安全性、灵活性、可扩展性、自由度高等。2.如何在Linux系统上安装软件?答:通常可以使用包......
  • linux 中 判断一组数据开头或者末尾是否有空格
     001、判断是否末尾有空格(base)[root@PC1test]#lsa.txt(base)[root@PC1test]#cata.txt##测试数据adgkuddgkdf,zdgdfe......
  • Linux Shell脚本入门教程系列之(十六) Shell输入输出重定向
    本文是LinuxShell系列教程的第(十六)篇,更多LinuxShell教程请看:LinuxShell系列教程Shell中的输出和输入的重定向是在使用中经常用到的一个功能,非常实用,今天就为大家介绍下Sh......
  • Linux Shell脚本入门教程系列之(二)第一个shell脚本
    本文是LinuxShell脚本系列教程的第(二)篇,更多shell教程请看:LinuxShell脚本系列教程通过上一篇教程的学习,相信大家已经能够对shell建立起一个大体的印象了,接下来,我们通过一个......
  • linux和windows下换行符引起的报错——dos2unix转换
    有时候由于有的代码太长,显示的时候看着很不舒服,所以在编写的时候会加上\再换行,这个是转义字符(转义字符还是编译字符??我对这个不是很了解。。。),到时候会把换行符给变成空格(我......
  • 字符串函数_Linux_python_R_SQL
    字符串处理grep查找命令筛选信息awkcut按照指定要求分割-awk截取列信息cut截取字符串信息awkFS对第一行没作用要用大写的BEGIN方法01.利用exp......
  • 第6章 Linux的档案权限与目录管理
    一、使用者与群组1、档案拥有者由于Linux是个多人多任务的系统,常常可能有多人同时使用这部主机来进行工作,为了考虑每个人的隐私以及每个人喜好的工作环境而建立档案......
  • Linux前置
    一、虚拟机下载VMware软件二、选择Linux内核当前热门的Linux内核有CentOS,Ubuntu三、快速实现文件上传FinalShell四、LinuxLinux是一种操作系统,电脑是由操作系统和硬......
  • linux在多个文件中查找指定字符串
    Linux使用grep命令检索多个文件点击查看代码grep<searchingstring><patternsearchingfile>如果我要检索当前所有md文件中的Hello关键字,可以这么用点击查看代......
  • linux中关于内存、缓冲区、缓存
     ......