首页 > 系统相关 >Linux文件系统与日志分析

Linux文件系统与日志分析

时间:2022-10-15 19:00:30浏览次数:45  
标签:文件 log 号码 文件系统 Linux var 日志 inode

inode和block

概述

文件数据包括元信息与实际数据。

文件存储在硬盘上,硬盘最小存储单位是“扇区”,每个扇区存储512字节。

block(块)

连续的八个扇区组成一个block

是文件存取的最小单位

inode(索引节点)

中文译名为“索引节点”,也叫 i 节点

用于存储文件元信息

一个文件必须占用一个inode ,至少占用一个block

关系

文件是存储在硬盘上的,硬盘的最小存储单位叫做“扇区”(sector),每个扇区存储512字节。

一般连续八个扇区组成一个"块”(block),一个块是4K大小,是文件存取的最小单位。操作系统读取硬盘的时候,是一次性连续读取多个扇区,即一个块一个块的读取的。

文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在“块"中,存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。 因此,一个文件必须占用一个inode,并且至少占用一个block。

inode不包含文件名。文件名是存放在目录文件夹当中的。Linux 系统中一切皆文件,因此目录也是一种文件。

每个inode都有一个号码,操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一一对应关系,每个inode号码对应一个或多个文件名。

所以,当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找自己文件夹中的目录项,之后找到对应的inode号码;通过inode号码,获取inode信息;根据inode信息,看该用户是否具有访问这个文件的权限;如果有,就指向相对应的数据block,并读取数据。

inode的内容

 inode包含文件的元信息 文件的字节数 文件拥有者的User ID 文件的Group ID 文件的读、写、执行权限 文件的时间戳 注:不包含文件名   查看某个文件的inode信息 stat aa.txt  Linux系统文件三个主要的时间属性 ctime(change time) 最后一次改变文件或目录(属性)的时间 atime(access time) 最后一次访问文件或目录的时间 mtime(modify time) 最后一次修改文件或目录(内容)的时间

目录文件的结构

目录也是一种文件 目录文件的结构 每个inode都有一个号码,操作系统用inode号码来识别不同的文件 Linux系统内部不使用文件名,而使用inode号码来识别文件 对于用户,文件名只是inode号码便于识别的别称

inode的号码

用户通过文件名打开文件时,系统内部的过程:

用户访问文件时,系统先去查找文件所属目录中的目录项,根据文件名找到对应的inode号码。

通过inode号码,获取inode信息。

根据inode信息,判断用户是否具备访问权限。

如果有访问权限,则利用指针去指向实际数据所在的block,读出数据。

如果没有访问权限,则返回Permission denied。根据inode信息,利用指针去指向实际数据所在的block,读出数据。 查看inode号码的方法:

ls -i 命令:查看文件名对应的inode号码

stat 命令:查看文件inode信息中的inode号码

 

inode的大小

inode也会消耗硬盘空间 每个inode的大小 一般是128字节或256字节 格式化文件系统时确定inode的总数 查看每个硬盘分区的inode总数和已经使用的数量 df -i inode也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode 区,存放inode 所包含的信息。每个inode 的大小,一般是128字节或256字节 通常情况下不需要关注单个inode的大小,而是需要重点关注inode 总数。inode 的总数在格式化时就给定了,执行"df-i"命令即可查看每个硬盘分区对应的的inode总数和已经使用的inode数量 由于inode 号码与文件名分离,导致Linux系统具备以下几种特有的现象: 1.文件名包含特殊字符,可能无法正常删除。这时直接删除inode,能够起到删除文件的作用 2.移动文件或重命名文件,只是改变文件名,不影响inode 号码 3.打开一个文件以后,系统就以inode. 号码来识别这个文件,不再考虑文件名 4.文件数据被修改保存后,会生成一个新的inode 号码 find ./ -inum 52305140 -exec rm -i {} \ ; find ./ -inum 50464299 -delete find ./ -inum (inode) | xargs rm -rf

命令和inode号之间的关系

cp 命令:

分配一个空闲的inode号,在inode表中生成新条目

在目录中创建一个目录项,将名称与inode编号关联

拷贝数据生成新的文件

rm 命令:

硬链接数递减,从而释放的inode号可以被重用

把数据块放在空闲列表中

删除目录项

数据实际上不会马上被删除,但当另一个文件使用数据块时将被覆盖

mv命令:

如果mv命令的目标和源在同一设备,

不影响inode表(除时间戳)或磁盘上的数据位置;

系统会删除旧的目录对应关系,新建目录对应关系。

硬链接和软链接

对比项 硬链接 软链接(符号链接)
本质 本质是同一个文件 本质不是同一个文件
inode 和源文件相同 和源文件不同
链接数 创建新的硬链接,链接数会增加;删除硬链接,链接数减少 删除新建不会改变
目录 不支持给目录创建 支持
删除源文件 只是链接数减一,但链接文件的访问不受影响 无法访问链接文件
文件类型 和源文件相同 链接文件,和源文件无关
文件大小 和源文件相同 源文件的路径的长度
能否交叉文件系统 不支持 支持
对不存在的文件 不支持创建硬链接 支持创建软链接

注意:

创建软链接时,源文件必须使用绝对路径。

删除文件后空间不释放的处理方法

删除文件后,如果磁盘空间没有释放,是因为文件正在被其他人打开。 其他人退出使用该文件后空间会被释放。

可以使用 w 命令或 lsof 命令查看是否有人在使用该文件。

日志文件

日志的功能 • 用于记录系统、程序运行中发生的各种事件 • 通过阅读日志,有助于诊断和解决系统故障 日志文件的分类 内核及系统日志 ◆由系统服务rsyslog统一进行管理 ,日志格式基本相似 ◆主配置文件/etc/rsyslog.conf 用户日志. ◆记录系统用户登录及退出系统的相关信息 程序日志 ◆由各种应用程序独立管理的日志文件,记录格式不统一 (由开发人员定义) 日志保存位置 默认位于: /var/log目录下 主要日志文件介绍 内核及公共消息日志 /var/log/messages 记录Linux内核消息及各种应用程序的公共日志信息,包括启动、Io错误、网络错误、程序故障等 对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息 计划任务日志 /var/log/cron 记录crond计划任务产生的事件信息 系统引导日志 /var/log/dmesg 记录Linux系统在引导过程中的各种事件信息 邮件系统日志 /var/log/maillog 记录进入或发出系统的电子邮件活动 用户登录日志 /var /log/lastlog 记录每个用户最近的登录事件,二进制格式 /var/log/secure 记录用户认证相关的安全事件信息 /var/log/wtmp 记录每个用户登录、注销及系统启动和停机事件,二进制格式 /var/run/btmp 记录失败的、错误的登录尝试及验证事件,二进制格式   vim /etc/rsyslog.conf #查看rsyslog.conf配置文件 *.info;mail.none; authpriv.none; cron.none /var/ log/messages *.info #表示info等级及以上的所有等级的信息都写到对应的日志文件里 mail.none #表示某事件的信息不写到日志文件里(这里比如是邮件)

内核及系统日志

内核及系统日志由系统服务rsyslog 统一管理,主配置文件为/etc/rsyslog.conf Linux操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下 日志的级别

注:数字等级越小,优先级越高,消息越重要

用户日志分析

保存了用户登录、退出系统等相关信息 • /varlog/lastlog:最近的用户登录事件 • /var/log/wtmp:用户登录、注销及系统开、关机事件 • /var/run/utmp:当前登录的每个用户的详细信息 • /var/log/secure:与用户验证相关的安全性事件   分析工具 • users、who、W、last、 lastb • last命令用于查询成功登录到系统的用户记录 • lastb命令用于查询登录失败的用户记录

程序日志分析

由相应的应用程序独立进行管理 Web服务: /var/log/httpd/ ◆access_ log //记录客户访问事件 ◆error_ log //记录错误事件 代理服务: Ivar/log/squid/ ◆access.log、cache.log   分析工具 文本查看、grep过滤检索、Webmin管理套件中查看 awk、sed等文本过滤、格式化编辑工具 Webalizer、Awstats等专用日志分析工具

十三.日志管理策略

及时作好备份和归档 延长日志保存期限 控制日志访问权限 日志中可能会包含各类敏感信息,如账户、口令等   集中管理日志 将服务器的日志文件发到统一的日志文件服务器 便于日志信息的统- -收集、整理和分析 杜绝日志信息的意外丢失、恶意篡改或删除    

标签:文件,log,号码,文件系统,Linux,var,日志,inode
From: https://www.cnblogs.com/lnj0/p/16794799.html

相关文章

  • Linux中的DNS正向、反向与主从解析
    一、DNS概念在日常生活中人们习惯使用域名访问服务器,但机器间互相只认IP地址,域名写IP地址之间是多对一的关系,一个ip地址不一定只对应一个域名,且一个完整域名只可以对应一......
  • Linux iostat命令
    Linuxiostat命令详解Linux系统中的iostat是I/Ostatistics(输入/输出统计)的缩写,iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况,同时也会汇......
  • Linux下mysql5.7.37升级至mysql5.7.39-RPM安装
    mysql版本5.7.37升级到5.7.39。由于我们由于我们安装mysql的方式是通过mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar中的rpm包安装。所以升级的方式是专门针对这种方式:rpm-iv......
  • 在docker应用中安装python3环境,运行程序,输出日志时间比本地时间慢8小时
    根据排查原因是docker容器时间以0时区为准,中国在东8区,因此输出时间比中国时间慢了8小时解决方法一:1:首先,进入docker应用中dockerexec-it-urootjenkinsbash说明:使......
  • linux进程及计划任务管理
    程序和进程的关系1.程序保存在硬盘,光盘等介质中的可执行代码和数据文件中静态保存的代码2.进程在cpu及内存中运行的程序代码动态执行的代码父,子进程每个程序可以创......
  • Linux引导过程及排除故障
    Linux操作系统引导过程1、开机自检总结:检测出第一个能够引导系统的设备,比如硬盘或者光驱 2、MBR引导当从本机硬盘中启动系统时,首先根据硬盘第一个扇区中MBR(主引......
  • Linux 安装并启动SSH服务
    1.安装openssh-serveryuminstallopenssh-server2.开启SSH服务端systemctlstartsshd3.设置开机自启systemctlenablesshd......
  • Linux网络
    一、Linux网络相关概念1、网卡的命名规则   centos6的网卡命名方式:它会根据情况有所改变而非唯一且固定,在centos6之前,网络接口使用连续号码命名:eth0,eth1等,当增加或删......
  • Linux学习笔记 | Shell基本介绍
    (一)内核(Kernal)      内核,是一个​​操作系统​​的核心。是基于硬件的第一层软件扩充,提供操作系统的最基本的功能,是操作系统工作的基础,它负责管理系统的进程、​​......
  • linux Traffic Control Configuration example 限速 配置示例 进出双方向
    linuxTrafficControlConfigurationexample限速配置示例进出双方向背景公司的公网是没有限速设备的,导致公网带宽相互抢占,奈何有个大佬业务线说自己的产品架构脆弱,经......