首页 > 系统相关 >Linux文件系统与日志分析

Linux文件系统与日志分析

时间:2024-04-25 22:45:23浏览次数:17  
标签:文件 log 文件名 文件系统 Linux var 日志 inode

目录

1.inode与block

文件数据包括元信息与实际数据;
文件存储在硬盘上,硬盘最小存储单位是“扇区”,每个扇区存储512字节;

block(块):连续的八个扇区组成一个 block(4K),是文件存取的最小单位;

inode(索引节点):中文译名为“索引节点”,也叫i节点,用于存储文件元信息


一个文件必须占用一个inode,但至少占用一个block

(1)inode的内容

(1)inode包含文件的元信息:文件的字节数;文件拥有者的User ID(不包含文件名);文件的Group ID;文件的读、写、执行权限;文件的时间戳等

stat 文件名 ###查看文件的元信息
stat 文件名 或 ls -i 文件名 ###查看文件的inode号

(2)Linux系统文件三个主要的时间属性
atime(access time):最后一次访问文件或目录的时间。
mtime(modify time):最后一次修改文件或目录(内容)的时间。
ctime(change time):最后一次改变文件或目录(属性)的时间。

(3)目录文件的结构:目录也是一种文件;目录文件的结构
每个inode都有一个号码,操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名,而使用inode号码来识别文件
对于用户,文件名只是inode号码便于识别的别称

(2)inode的号码

用户通过文件名打开文件时,系统内部的过程:
系统找到这个文件名对应的inode号码
通过inode号码,获取inode信息
根据inode信息,找到文件数据所在的block,读出数据

查看inode号码的方法:
ls -i 文件名 ###查看文件名对应的inode号码
stat 文件名 ###查看文件inode信息中的inode号码

硬盘分区后的结构

访问文件的简单流程

用户通过文件名访问文件的过程:
先根据文件名找到对应的inode号;再通过inode号获取inode信息;再根据inode信息判断用户是否具有访问权限;如果有则指向实际数据的块并读取数据,否则拒绝访问。

(3)inode的大小

inode也会消耗硬盘空间:每个inode的大小,一般是128字节或256字节
格式化文件系统时确定inode的总数

df -i ###查看每个硬盘分区的inode总数和已经使用的数量

(4)inode的特殊作用

由于inode号码与文件名分离,导致一些Unix/Linux系统具有以下的现象:
当文件名包含特殊字符,可能无法正常删除文件,直接删除inode,也可以删除文件;
移动或重命名文件时,只改变文件名,不影响inode号码;
打开一个文件后,系统通过inode号码来识别该文件,不再考虑文件名。

直接查看、修改文件内容或者改变文件名都不会影响 inode号,使用 vi 编辑器修改文件保存退出后会影响 inode号
针对无法正常删除文件名含有特殊符号的文件时,可根据 inode号 来删除文件
find 目录 -inum <inode号> -delete



2.硬链接与软连接

硬链接 软链接
删除源文件不会失效 删除源文件会失效
ln 源文件路径 链接文件路径 ln -s 源文件路径 链接文件路径
只适用于文件 适用于文件和目录
硬链接文件必须要和源文件在一个分区 软链接文件可以和源文件不在一个分区
硬链接文件和源文件inode号相同 软链接文件和源文件inode号不同

3.恢复误删的文件

(1)恢复EXT类型的文件

编译安装extundelete软件包
安装依赖包
e2fsprogs-libs-1.41.12-18.el6.x86 64.rpm
e2fsprogs-devel-1.41.12-18.el6.x86 64.rpm
配置、编译及安装
extundelete-0.2.4.tar.bz2
模拟删除并执行恢复操作







echo $PATH
ln -s /usr/local/extundelete/bin/extundelete /usr/local/bin/
extundelete /dev/sdb1 --inode 2
umount /dev/sdb1 #解挂
extundelete /dev/sdb1 --restore-all

*注:EXT类型的文件inode号占完,不能再创建新文件

(2)恢复XFS类型的文件

xfsdump -f备份存放位置 要备份的路径或设备文件

xfsdump备份级别(默认为0):
0:完全备份
1-9:增量备份

常用选项
-f 指定备份文件目录
-L 指定标签 session label
-M 指定设备标签 media label
-s 备份单个文件,-s 后面不能直接跟路径

xfsrestore -f 恢复文件的位置 存放恢复后文件的位置
模拟删除并执行恢复操作

xfsdump使用限制
只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份XFS文件系统
备份后的数据只能让xfsrestore解析
不能备份两个具有相同UUID的文件系统

*注:XFS类型的文件inode号占完,能再创建新文件,多个10~30左右,XFS有冗余机制

4.分析日志文件

(1)日志文件

(1)日志的功能:

用于记录系统、程序运行中发生的各种事件;通过阅读日志,有助于诊断和解决系统故障

(2)日志文件的分类:

①内核及系统日志:由系统服务rsyslog统一进行管理,日志格式基本相似;主配置文件/etc/rsyslog.conf

②用户日志:记录系统用户登录及退出系统的相关信息

③程序日志:由各种应用程序独立管理的日志文件,记录格式不统一

(3)日志保存位置

默认位于:/var/log目录下

主要日志文件介绍
/var/log/messages 记录Linux内核消息及各种应用程序的公共日志信息,包括启动、10错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,件记录信息
/var/log/cron 记录crond计划任务产生的事件信息
/var/log/dmesg 记录Linux系统在引导过程中的各种事件信息
/var/log/maillog 记录进入或发出系统的电子邮件活动
/var/log/secure 记录用户认证相关的安全事件信息
/var/log/lastlog 记录每个用户最近的登录事件
/var/log/rpmpkgs 记录系统中安装的各rpm包列表信息
/var/log/wtmp 记录每个用户登录、注销及系统启动和停机事件
/var/run/btmp 记录失败的、错误的登录尝试及验证事件

(2)内核及系统日志

(1)由系统服务 rsyslog 统一管理

软件包:rsyslog-7.4.7-16.el7.x86_64

主要程序:/sbin/rsyslogd

配置文件:/etc/rsyslog.conf

(2)日志消息的级别

级号 消息 级别 说明
0 EMERG 紧急 会导致主机系统不可用的情况。如系统崩溃
1 ALERT 警告 必须马上采取措施解决的问题。如数据库被破坏
2 CRIT 严重 比较严重的情况。如硬盘错误,可能会阻碍程序的部分功能
3 ERR 错误 运行出现错误。不是非常紧急,尽快修复的
4 WARNING 提醒 可能会影响系统功能的事件。不是错误,如磁盘用了85%等
5 NOTICE 注意 不会影响系统但值得注意。无需处理
6 INFO 信息 一般信息。正常的系统信息
7 DEBUG 调试 程序或系统调试信息等。包含详细开发的信息,调试程序时使用
none 没有优先级,不记录任何日志消息。


(3)日志记录的一般格式

(3)用户日志分析

保存了用户登录、退出系统等相关信息

用户日志
/var/log/lastlog 最近的用户登录事件
/var/log/wtmp 用户登录、注销及系统开、关机事件
/var/run/utmp 当前登录的每个用户的详细信息
/var/log/secure 与用户验证相关的安全性事件

(1)分析工具

users 、who、w、last、lastb
last 命令用于查询成功登录到系统的用户记录
lastb 命令用于查询登录失败的用户记录

(4)程序日志分析

由相应的应用程序独立进行管理

Web服务:/var/log/httpd/

access_log //记录客户访问事件
error_log //记录错误事件

代理服务:/var/log/squid/

access.log、cache.log

分析工具

文本查看、grep过滤检索、Webmin管理套件中查看

awk、sed等文本过滤、格式化编辑工具

Webalizer、Awstats等专用日志分析工具

(5)Linux系统日志管理

journalctl -r ###查看所有日志(默认情况下,只保存本次启动的日志),-r表示倒序,从尾部看
journalctl -u 服务名 [-f] ### 查看某个服务的日志
journalctl -k ###查看内核日志(不显示应用日志)
journalctl -b -0/-1 ###查看系统 本次/上一次 启动的日志
journalctl _PID=<进程PID> ###查看指定进程的日志
journalctl _UID=<账户UID> ###查看指定用户的日志

*注:集中式收集管理日志方案
rsyslog
shell/python脚本
ELK(elasticsearch+logstash+kibana)
Loki+promtail+grafana

标签:文件,log,文件名,文件系统,Linux,var,日志,inode
From: https://www.cnblogs.com/zsy828/p/18152164

相关文章

  • MFT(Master File Table,主文件表)是Windows操作系统中NTFS(New Technology File System,新
    MFT(MasterFileTable,主文件表)是Windows操作系统中NTFS(NewTechnologyFileSystem,新技术文件系统)的关键组成部分,用于存储文件和目录的元数据信息。MFT类似于Unix和Linux系统中的inode,但在实现上有所不同。MFT包含以下信息:文件和目录的属性:包括权限、所有者、创建时间、修......
  • PEcmd是一个命令行工具,用于执行各种操作系统和文件系统相关的任务。通常,它用于在Windo
    PECMD命令帮助-PECMD技术社区:www.pecmd.netPEcmd是一个命令行工具,用于执行各种操作系统和文件系统相关的任务。通常,它用于在Windows操作系统上执行各种文件和目录操作,例如文件复制、移动、删除等。PEcmd提供了一种简单而强大的方式来管理文件和目录,尤其是在自动化和批处......
  • inode(index node)是Unix、Linux和类Unix操作系统中的一个重要概念, 在Windows操作系统中
    inode(indexnode)是Unix、Linux和类Unix操作系统中的一个重要概念,用于描述文件系统中的文件或目录。每个文件或目录都与一个inode相关联。inode包含以下信息:文件或目录的权限(读、写、执行)。文件类型(普通文件、目录、符号链接等)。拥有者和所属组。文件的大小。访问、修......
  • springboot的日志swagger的配置
    我们导入swagger分为三步一.导入依赖首先我们需要在项目的pom里导入依赖<dependency><groupId>com.github.xiaoymin</groupId><artifactId>knife4j-spring-boot-starter</artifactId><version>3.0......
  • C语言环境下的日志库:zlog
    一、安装zloghomepage:zloggithub链接编译和安装链接二、配置文件编程时,在zlog_init()函数需要指定配置文件,而配置文件可以根据用户的需求进行个性化定制。2.1基本配置example_zlog.conf[global]strictinit=truebuffermin=1024buffermax=2048rotate......
  • vim查看linux文件目录,05Linux.浏览目录和文件,VIM文本编辑器
    vim查看linux文件目录,05Linux.浏览目录和文件,VIM文本编辑器一、浏览目录和文件查看目录、查看文件属性1)查看根目录/下有哪些文档或子目录,观察颜色有什么规律ls/2)以长格式显示结果,对比/bin、/usr/bin/目录详细属性ls-ld/bin/usr/bin/【-d只显示目录本身】3)......
  • linux压缩
    市面上有非常多的压缩格式:zip格式:Linux、Windows、MacOS,常用7zip:Windows系统常用rar:Windows系统常用tar:Linux、MacOS常用gzip:Linux、MacOS常用在Linux系统中操作:tar、gzip、zip这三种压缩格式tar命令语法:tar[-z-x-v-f-c-C]参数1参数2选项:-c,创建压缩文件,用于压缩......
  • Ubuntu20文件系统磁盘空间不足low disk space on filesystem root——转载
      Ubuntu20文件系统磁盘空间不足lowdiskspaceonfilesystemroot天然玩家于2022-07-2307:45:00发布阅读量1w 收藏 132点赞数41分类专栏: #Ubuntu 文章标签: filesystem gparted ubuntu版权Ubuntu专栏收录该内容19篇文章1......
  • linux系统管理
    1.用户、用户组创建用户useradd[-g-d]用户名选项:-g指定用户的组,不指定-g,会创建同名组并自动加入,指定-g需要组已经存在,如已存在同名组,必须使用-g选项:-d指定用户HOME路径,不指定,HOME目录默认在:/home/用户名删除用户userdel[-r]用户名选项:-r,删除用户的HOME目录,不使用-r,删......
  • 02、Linux 排查
    Linux分析排查1.敏感文件信息1.1.tmp目录/tmp:临时目录文件,每个用户都可以对它进行读写操作。因此一个普通用户可以对/tmp目录执行读写操作(ls-alt)筛查/tmp目录下是否存在相关的恶意文件等1.2.开机启动:/etc/init.d恶意代码很可能设置在开机自启动的位置查看指定目录下......