首页 > 系统相关 >Linux查看大文件日志

Linux查看大文件日志

时间:2022-11-09 16:13:45浏览次数:96  
标签:文件 rw log 查看 less -- Linux 日志 500000000

Linux 查看大日志文件

1、使用 less 命令

 less filename

但是使用上述命令的坏处是,默认打开的位置在第一行,并且当切换到实时滚动模式(按 F ,实现效果类似 tail -f 效果 )或者想要滚动到最底部的时候(按 G ),会卡在计算行数一段时间。如果卡的时间比较长的话,可以直接按 Ctrl + c ,取消计算行数。
我更推荐打开文件的时候使用 -n :不计算行号(打开大文件的时候很有用)。

  1.   less  -n file 
  2.   less  +G -n   file  // 打开文件的时候,直接定位到文件的最底部,默认情况下是在首行。
  3.   less +F -n    file  // 打开文件的时候,使用实时滚动模式,Ctrl + c  退出实时滚动模式,按 F 切回实时滚动模式
  4.   less +1000g  -n  file  // 直接定位到第 1000 行,一般你提前通过 grep 命令,定位到行数后,再使用这个命令
  5.   less +50p   -n  file  // 直接定位到 50% 的位置
  6.   less +50P   -n  file  // 直接定位到第 100 字节的位置。这个命令感觉不怎么使用。

不使用 -n 的坏处是:当你使用 = 的时候,会计算出当前光标所在的位置,但是务必记得,大文件计算行数会阻塞一段时间。例如执行下列命令:

less copy.log

less 命令打开文件后,按下 = ,因为文件比较大,卡了我 20 几秒。

显示内容为: 文件名 copy.log , 当前屏幕显示1-24行/该文件一共有430000070行 , 从第一行到当前位置一共有 144 byte/该文件一共有2580000418 byte , 当前位置在文件的 0% 处。

如果使用 -n,输入以下命令 :

less -n copy.log

然后按下 = ,执行就非常快了
因此我建议大家使用 less 命令显示大文件的的时候,加上 -n 。

当然如果文件比较小,你想在使用 less 打开文件,并显示文件行数的话,可以使用 :

less -N file

如果你已经知道日志输出的关键字的话,使用 grep , 通常需要打印关键字前后的日志。

  1.   grep 'key word' log.txt -A 20 // 列出包括匹配行之后 20 的行。
  2.   grep 'key word' log.txt -B 20 // 列出包括匹配行之前 20 的行。
  3.   grep 'key word' log.txt -C 20 // 列出包括匹配行前后各 20 行。

大文件的话,grep 出来的数据比较多的话,你可以和 less 一起使用

grep  `world` copy.log | less

有时候需要将 tail 和 less 命令结合起来使用

  1.   tail -n +10000 | less // 从第 10000 开始,使用 less 查看。
  2.   tail  -n 10000 | less // 查看倒数第 1000 行到文件最后的数据。 

6.切割文件
有时候想把一个大文件进行分割成多个小文件.(我个人是不建议这么做的,因为我发现 split 的时候,也是蛮耗时的,但是这里仍然提供一种解决方法吧)
按文件大小分割:

split -b 600m copy.log

分割后的文件默认是以 x 开头,例如我上述命令分割后文件为:

  1.   $ ls -lht x*  // 这里 * 是通配符,即列出以 x 开头的文件。
  2.   -rw-rw-r-- 1 apple apple  61M 6月  22 15:02 xae
  3.   -rw-rw-r-- 1 apple apple 600M 6月  22 15:02 xad
  4.   -rw-rw-r-- 1 apple apple 600M 6月  22 15:02 xac
  5.   -rw-rw-r-- 1 apple apple 600M 6月  22 15:02 xab
  6.   -rw-rw-r-- 1 apple apple 600M 6月  22 15:02 xaa

当然你可以按行数分割,具体的命令格式如下 :

split [选项]... [要切割的文件] [输出文件前缀]  // 输出文件前缀为可选项

命令参数    说明
-a, --suffix-length=N    使用长度为 N 的后缀 (默认 2)
-b, --bytes=SIZE    设置输出文件的大小。支持单位:m,k
-C, --line-bytes=SIZE    设置输出文件的最大行数。与 -b 类似,但会尽量维持每行的完整性
-d, --numeric-suffixes    使用数字后缀代替字母
-l, --lines=NUMBER    设备输出文件的行数
–help    显示版本信息
–version    输出版本信息
7.如果你已经知道需要的内容在第几行,但是想要显示指定行数之前或者之后的行。例如你想显示 499999900 到 500000000 这100 行的内容。 推荐使用这个方法

head -500000000 file | tail  -100

其中 head -500000000 : 显示文件的前 500000000 行。
tail -100 :显示最后 100行。
两者结合起来就是在前 500000000 行中显示后 100 行,即显示 499999900 到 500000000 这100 行的内容。

或者使用 sed 命令:

sed -n '500000000q;499999900,500000000p'  file

其中 -n 与 p : 表示只打印符合条件的行。
500000000q; : 表示当执行到第 500000000 行的时候停止执行。 如果不使用 500000000q; sed 默认会浏览整个文件。
499999900,500000000 : 表示499999900 到 500000000 行。其中 , 逗号表示范围。
整体结合起来就是打印 499999900 到 500000000 行,但是执行到第 500000000 行就不要再执行了。

或者使用 awk 命令

awk 'NR>=49999991 && NR<=50000000{print} NR==50000001{exit}' file

最后我发现三者的执行效率(copy.log 是一个大小为 2.5 G 的测试文件):

  1.   time (head -500000000  copy.log  | tail -100) > /dev/null
  2.   real    0m9.456s
  3.   user    0m8.854s
  4.   sys    0m3.501s
  5.    
  6.   time (sed -n '500000000q;499999900,500000000p' copy.log) > /dev/null
  7.   real    0m25.968s
  8.   user    0m25.111s
  9.   sys    0m0.833s
  10.    
  11.   time (awk 'NR>=499999900&& NR<=500000000{print} NR==500000001{exit}' copy.log) > /dev/null
  12.   real    1m4.743s
  13.   user    1m3.824s
  14.   sys    0m0.906s

总结
与其说是查看大日志文件的方法,不如说是将 grep/awk/sed/head/less/tail 多个命令结合起来的方法。

其实最重要的不是怎么看大文件,还是在程序运行时候,就要对日志文件进行归档整理,例如,每天一次归档,或者每满 500M 就归档。
当然大公司会用例如 ELK 之类的日志处理系统。

提示
如果你在浏览这篇文章的时候,苦于没有大的日志文件练习, 可以执行如下命令:

seq 1 1000000000 > file
 https://www.cnblogs.com/cxhfuujust/p/12036916.html 分类: linux

标签:文件,rw,log,查看,less,--,Linux,日志,500000000
From: https://www.cnblogs.com/gzy1314/p/16874124.html

相关文章

  • linux基本命令及文件管理
    linux基本命令及文件管理文章目录​​**linux基本命令及文件管理**​​​​入门概述​​​​环境搭建​​​​开机关机基本目录介绍​​​​系统目录结构​​​​基本命令​......
  • Linux 实用脚本
    --打包targetDir文件夹成myfile.tar.gz文件tar-zcvfmyfile.tar.gztargetDir/--发送/var/local/myfile.tar.gz文件到机器172.17.8.26:/var/local文件夹下scp/var/local......
  • K8s系列---【Linux单节点部署KubeSphere】
    1、开通服务器4c8g;centos7.9,查看系统版本cat/etc/redhat-release;防火墙放行30000~36727,指定hostname。hostnameset-hostnamenode12、安装2.1准备kubekeyexpo......
  • K8s系列---【Linux多节点部署KubeSphere】
    1、准备三台服务器4c8g(master)8c16g*2(worker)centos7.9,查看系统版本cat/etc/redhat-release内网互通每个机器都有自己hostname防火墙放开30000~32767端口2、......
  • 《Unix/Linux系统编程》第13章学习笔记
    第13章TCP/IP和网络编程13.1TCP/IP协议TCP/IP是互联网的基础,TCP代表传输控制协议,IP代表互联网协议。目前有IPv4(32位地址)和IPv6(128位地址),目前IPv4使用最多。TCP/IP的四......
  • LINUX 安装 NGINX ‘STRUCT CRYPT_DATA’ HAS NO MEMBER NAMED ‘CURRENT_SALT’ 解决
    出现这个问题一般不是Nginx的版本高就是服务器版本高的问题解决办法:在nginx安装文件夹下输入[[email protected]]#vimsrc/os/unix/ngx_user.c进去编辑找到红......
  • [Kyana]Linux逻辑卷的使用
    00|前排提示小白在使用Linux虚拟机时,常在开始分配较小的硬盘空间,在后续使用中常出现硬盘空间不足的问题,轻则无法安装软件,重则无法更新。本文推荐使用逻辑卷方式安装操作系......
  • linux下非root用户安装Anaconda
    1、准备Anaconda3-2020.02-Linux-x86_64.sh安装程序2、上传至服务器,Anaconda3-2020.02-Linux-x86_64.sh是可执行程序,操作命令如下:shAnaconda3-2020.02-Linux-x86_64.......
  • awk分析nginx日志
    nginx日志字段说明127.0.0.1--[31/Aug/2018:16:11:16+0800]"GET/50x.htmlHTTP/1.1"200537"-""curl/7.29.0"访问ip、访问时间、请求方式、请求url、响应状态码......
  • Oracle11g redo log 创建、添加、删除(重做日志组,重做日志文件)
    selectgroup#,sequence#,members,bytes,status,archivedfromv$log;selectgroup#,status,type,memberfromv$logfile;添加redo组alterdatabaseaddlogfile(......