目录
11.1 深入理解Linux文件系统
在处理 Linux 系统出现的各种故障时，故障的症状是最易发现的，而导致这一故障的原因才是最终排除故障的关键。熟悉 Linux 系统中常见的日志文件，了解一般故障的分析与解决办法，将有助于管理员快速定位故障点、“对症下药”、并及时解决各种系统问题。另外,Linux 系统中通过分区、格式化来创建文件系统，而文件系统的运行又与 block和inode 有关。
下面来深入地了解 Linux 系统的文件系统和日志文件分析,并通过一些实例介绍常见系统故障的分析与排除过程。由于故障现象的不确定性，在进行一些模拟故障的操作之前，定要提前做好数据备份。
11.1.1 inode与block详解
操作系统的文件数据除了实际内容之外，通常含有非常多的属性，例如 Linux 操作系统的文件权限(rwx)与文件属性(所有者、群组、时间参数等)。文件系统通常会将这两部分内容分别存放在 inode 和 block 中。
1、inode和block概述
文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区”(sector)，每个扇区存储 512字节。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"(block)。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八个 sector 组成一个 block。
文件数据存储在“块”中，那么还必须找到一个地方存储文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种存储文件元信息的区域就叫做inode，中文译名为“索引节点”，也叫i节点。因此，一个文件必须占用一个inode,但至少占用一个 block
2、inode的内容
inode 包含很多的文件元信息，但不包含文件名，例如:
- 文件的字节数
- 文件拥有者的UserID
- 文件的GroupID
- 文件的读、写、执行权限
- 文件的时间戳
使用stat命令即查看某个文件的inode信息
Linux系统文件有三个主要的时间属性,分别是 ctime(change time),atime(access time)mtime(modify time)。
- ctime(change time)是最后一次改变文件或目录(属性)的时间,例如执行 chmod.chown 等命令;
- atime(access time)是最后一次访问文件或目录的时间;
- mtime(modify time)是最后一次修改文件或目录(内容)的时间。
刚才提到inode 中并不包括文件名，其实文件名是存放在目录当中的。Linux 系统中-切皆文件，因此目录也是一种文件，目录文件的结构如图
每个inode 都有一个号码，操作系统用inode 号码来识别不同的文件，Linux 系统内部不使用文件名，而使用 inode 号码来识别文件。对于用户来说，文件名只是 inode 号码便于识别的别称。
3、inode的号码
用户在访问文件时，表面上是用户通过文件名来打开文件，而实际系统内部的过程分成以下三步:
- 系统找到这个文件名对应的 inode 号码;
- 通过 inode 号码，获取 inode 信息;
- 根据 inode 信息，找到文件数据所在的 block，并读出数据。常见的查看 inode 号码的方式有两种:
- Is-i命令:直接查看文件名所对应的inode 号码:
- stat 命令:通过査看文件 inode 信息而查看到inode 号码。
所以，当用户在 Linux 系统中试图访问一个文件时，系统会先根据文件名去查找它对应的 inode，看该用户是否具有访问这个文件的权限。如果有，就指向相对应的数据 block,如果没有，就返回 Permission denied
4、inode的大小
inode 也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。个是数据区，存放文件数据;另一个是inode 区，存放inode 所包含的信息。每个inode 的大小，一般是 128 字节或 256 字节。通常情况下不需要关注单个inode 的大小，而是需要重点关注 inode 总数。inode 的总数在格式化时就给定了,执行“df-i"命令即可查看每个硬盘分区对应的的 inode 总数和已经使用的 inode 数量。
由于 inode 号码与文件名分离，导致一些 Unix/Linux 系统具备以下几种特有的现象
- 文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用;
- 移动文件或重命名文件，只是改变文件名，不影响inode号码;
- 打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。
这种情况使得软件更新变得简单，可以在不关闭软件的情况下进行更新，不需要重启。因为系统通过inode 号码，识别运行中的文件，不通过文件名。更新的时候，新版文件以同样的文件名，生成一个新的inode，不会影响到运行中的文件。等到下一次运行这个软件的时候，文件名就自动指向新版文件，旧版文件的inode 则被回收。
11.1.2 硬链接与软链接
在 Linux 系统下的链接文件有两种，一种类似于 Windows 的快捷方式功能的文件，可以快速连接到目标文件或目录，称之为软链接;另一种则是通过文件系统的inode 链接来产生的新文件名，而不是产生新文件，称之为硬链接。
1、硬链接
一般情况下，文件名和 inode 号码是一一对应关系，每个inode 号码对应一个文件名但是 Linux 系统允许多个文件名指向同一个inode 号码。这意味着，可以用不同的文件名访问同样的内容。In 命令可以创建硬链接，命令的基本格式为:
运行该命令以后，源文件与目标文件的inode 号码相同，都指向同一个inode。inode信息中的“链接数”这时就会增加1。
当一个文件拥有多个硬链接时，对文件内容修改，会影响到所有文件名;但是删除一个文件名，不影响另一个文件名的访问。删除一个文件名，只会使得inode 中的"链接数"减 1。需要注意的是不能对目录做硬链接。
通过 mkdir 命令创建一个新目录/app/kgc，其硬链接数应该有2个，因为常见的目录本身为1个硬链接，而目录kgc下面的隐藏目录.(点号)是该目录的又一个硬链接，也算是1 个连接数。
2、软链接
软链接就是再创建一个独立的文件,而这个文件会让数据的读取指向它连接的那个文件的文件名。例如，文件A和文件B的inode号码虽然不一样，但是文件A的，内容是文件B的路径。读取文件A时，系统会自动将访问者导向文件B。这时，文件A就称为文件B的“软链接”(soft link)或者“符号链接(symbolic link)。
这意味着，文件 A 依赖于文件 B而存在，如果删除了文件 B，打开文件 A 就会报错。这是软链接与硬链接最大的不同:文件A指向文件B的文件名，而不是文件B的inode号码，文件 B的inode“链接数”不会因此发生变化。
软链接的创建命令的基本格式为:
11.1.3 EXT类型文件恢复
删除一个文件，实际上并不清除 inode 节点和 block 的数据，只是在这个文件的父目录里面的 block 中，删除这个文件的名字。Linux 是通过 Link 的数量来控制文件删除的，只有当一个文件不存在任何 Link 的时候，这个文件才会被删除。
在 Linux 系统运维工作中,经常会遇到因操作不慎、操作错误等导致文件数据丢失的情况，尤其对于客户企业中一些新手。当然，这里所指的是彻底删除，即已经不能通过“回收站”找回的情况，比如使用“rm -rf"来删除数据。针对 Linux 下的 EXT 文件系统，可用的恢复工具有 debugfs、ext3grep、extundelete 等。 其中 extundelete 是一个开源的 Linux 数据恢复工具，支持 ext3、ext4 文件系统。
在数据被误删除后，第一时间要做的就是卸载被删除数据所在的分区，如果是根分区的数据遭到误删，就需要将系统进入单用户模式，并且将根分区以只读模式挂载。这样做的原因很简单，因为将文件删除后，仅仅是将文件的inode 节点中的扇区指针清零，实际文件还存储在磁盘上，如果磁盘继续以读写模式挂载,，这些已删除的文件的数据块就可能被操作系统重新分配出去，在这些数据库被新的数据覆盖后，这些数据就真的丢失了，恢复工具也回天无力。所以以只读模式挂载磁盘可以尽量降低数据库中数据被覆盖的风险，以提高恢复数据成功的比例。
下面将介绍使用 extundelete 工具如何恢复误删除的文件。
1、编译安装extundelete
在编译安装 extundelete 之前需要先安装两个依赖包 e2fsprogs-libs和 e2fsprogs-devel,这两个包在系统安装光盘的/Package 目录下就有，使用rpm 或 yum 命令将其安装。e2fsprogs-devel安装依赖于 libcom_err-devel 包。
安装完依赖包之后，即可将提前上传的 extundelete 软件包解压、配置、编译、安装
2、模拟删除并执行恢复操作
（1）使用 fdisk 命令创建新分区，将其挂载到/tmp 目录下，往该目录下新建一些文件或目录
执行完命令'extundelete /dev/sdb1”后输入”y“即可查看该文件系统的使用情况。
也可以使用“extundelete /dev/sdb1 --inode 2"查看文件系统/dev/sdb1 下存在哪些文件,具体的使用情况。其中--inode2代表从i节点为2的文件开始查看，一般文件系统格式化挂载之后，i节点是从2开始的，2代表该文件系统最开始的目录。
（2）模拟误操作并恢复
使用"rm -rf ab"命令删除/tmp/下的a文件和b文件，当出现误操作时，立刻卸载该文件系统，然后使用“extundelete /dev/sdb1 --restore-all"恢复/dev/sdb1 文件系统下的所有内容。
执行完恢复的命令后，在当前目录下会出现一个/RECOVERED FILES/目录，里面保存了已经恢复的文件。
11.1.4 xfs文件备份和恢复
extundelete 工具仅可以恢复 EXT 类型的文件，无法恢复 CentOS7 系统默认采用 xfs类型的文件。针对 xfs 文件系统目前也没有比较成熟的文件恢复工具，所以建议提前做好数据备份，以避免数据丢失。
xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。若系统中未安装xfsdump与xfsrestore 工具,可以通过yum install -yxfsdump命令安装。xfsdump 按照inode顺序备份一个 xfs 文件系统。xfsdump 的备份级别有两种:0表示完全备份;1-9表示增量备份。xfsdump的备份级别默认为0。xfsdump的命令格式为:xfsdump-f备份存放位置要备份路径或设备文件。常用的备份参数包括以下几种:
- -f:指定备份文件目录;
- -L:指定标签 session label;
- -M:指定设备标签 media label;
- -s:备份单个文件，-s后面不能直接跟路径，
下面通过一个案例来备份恢复 xfs 类型的文件。首先添加一款新硬盘并格式化为 xfs 类型的文件系统，然后挂在到/date 目录下。
准备测试文件
使用 xfsdump 命令备份整个分区。
删除之前创建的内容，模拟数据丢失。
使用 xfsrestore 命令恢复文件。xfsrestore 命令的语法为:xfsrestore -f 恢复文件的位置 存放恢复后文件的路径。
使用 xfsdump 时，需要注意以下的几个限制:
- xfsdump不支持没有挂载的文件系统备份，所以只能备份已挂载的;xfsdump 必须使用 root 的权限才能操作(涉及文件系统的关系);
- xfsdump 只能备份 XFS 文件系统:
- xfsdump 备份下来的数据(档案或储存媒体)只能让 xfsrestore 解析:
- xfsdump 是透过文件系统的 UUID 来分辨各个备份档的，因此不能备份两个具有相同UUID 的文件系统。
11.2 分析日志文件
日志文件是用于记录 Linux操作系统中各种运行消息的文件，相当于 Linux 主机的“日记”。不同的日志文件记载了不同类型的信息，如 Linux 内核消息、用户登录事件、程序错误等。
日志文件对于诊断和解决系统中的问题很有帮助,因为在 Linux操作系统中运行的程序通常会把系统消息和错误消息写入相应的日志文件，这样系统一旦出现问题就会“有据可查”此外，当主机遭受攻击时，日志文件还可以帮助寻找攻击者留下的痕迹。本节将对 Linux 操作系统中的主要日志文件及分析方法进行介绍。
11.2.1 主要日志文件
本小节将简单介绍日志数据的种类及常见日志文件的用途。在 Linux 操作系统中，日志数据主要包括以下三种类型。
- 内核及系统日志:这种日志数据由系统服务rsyslog 统一管理，根据其主配置文件/etc/rsyslog.conf中的设置决定将内核消息及各种系统程序消息记录到什么位置。系统中有相当一部分程序会把自己的日志文件交由rsyslog 管理，因而这些程序使用的日志记录也具有相似的格式。
- 用户日志: 这种日志数据用于记录 Linux 操作系统用户登录及退出系统的相关信息，包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。
- 程序日志:有些应用程序会选择由自己独立管理一份日志文件(而不是交给 rsyslog服务管理)，用于记录本程序运行过程中的各种事件信息。由于这些程序只负责管理自己的日志文件，因此不同程序所使用的日志记录格式可能会存在较大的差异。
Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下。一部分程序共用一个日志文件，一部分程序使用单个日志文件,而有些大型服务器程序由于日志文件不止一个，所以会在/var/log/目录中建立相应的子目录来存放日志文件，这样既保证了日志文件目录的结构清晰，又可以快速定位日志文件。有相当一部分日志文件只有root用户才有权限读取，这保证了相关日志信息的安全性。
对于 Linux 操作系统中的日志文件，有必要了解其各自的用途，这样才能在需要的时候更快地找到问题所在，及时解决各种故障。下面介绍常见的一些日志文件。
- /var/log/messages:记录 Linux 内核消息及各种应用程序的公共日志信息，包括启动、I/O 错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。
- /var/log/cron:记录 crond 计划任务产生的事件信息。
- /var/log/dmesg:记录 Linux 操作系统在引导过程中的各种事件信息。
- /var/log/mailog:记录进入或发出系统的电子邮件活动。
- /var/log/lastlog:记录每个用户最近的登录事件。
- /var/log/secure:记录用户认证相关的安全事件信息。
- /var/log/wtmp:记录每个用户登录、注销及系统启动和停机事件。
- /var/log/btmp:记录失败的、错误的登录尝试及验证事件。
11.2.2 日志文件分析
熟悉了系统中的主要日志文件以后，下面将介绍针对日志文件的分析方法。分析日志文件的目的在于通过浏览日志查找关键信息、对系统服务进行调试，以及判断发生故障的原因等。本小节主要介绍三类日志文件的基本格式和分析方法。
对于大多数文本格式的日志文件(如内核及系统日志、大多数的程序日志)，只要使用tail、more、less、cat 等文本处理工具就可以査看日志内容。而对于一些二进制格式的日志文件(如用户日志)，则需要使用特定的查询命令。
1、内核及系统日志
内核及系统日志功能主要由默认安装的 rsyslog-7.4.7-16.el7.x86_64.rpm 软件包提供。rsyslog 服务所使用的配置文件为/etcrsyslog.conf。通过査看/etc/rsyslog.conf文件中的内容，可以了解到系统默认的日志设置，具体操作如下:
从配置文件/etc/rsyslog.conf中可以看到，受rsyslogd 服务管理的日志文件都是 Linux操作系统中主要的日志文件，它们记录了 Linux 操作系统中内核、用户认证、电子邮件、计划任务等基本的系统消息。在 Linux内核中，根据日志消息的重要程度不同，将其分为不同的优先级别(数字等级越小，优先级越高，消息越重要)。
- 0 EMERG(紧急):会导致主机系统不可用的情况。
- 1 ALERT(警告):必须马上采取措施解决的问题。
- 2 CRIT(严重):比较严重的情况。
- 3 ERR(错误):运行出现错误。
- 4 WARNING(提醒):可能影响系统功能，需要提醒用户的重要事件。
- 5 NOTICE(注意):不会影响正常功能，但是需要注意的事件。
- 6 INFO(信息):一般信息。
- 7 DEBUG(调试):程序或系统调试信息等
内核及大多数系统消息被记录到公共日志文件ar/log/messages 中，而其他一些程序消息被记录到各自独立的日志文件中，此外日志消息还能够记录到特定的存储设备中，或者直接发送给指定用户。查看/var/log/messages 文件的内容如下:
在有些情况下，可以设置rsyslog，使其在把日志信息记录到文件的同时将日志信息发送到打印机进行打印，这样无论网络入侵者怎样修改日志都不能清除入侵的痕迹。rsyslog日志服务是一个常会被攻击的显著目标，破坏了它将使管理员难以发现入侵及入侵的痕迹,因此要特别注意监控其守护进程及配置文件。
2、用户日志
在 wtmp、btmp、lastlog 等日志文件中,保存了系统用户登录、退出等相关的事件消息。但是这些文件都是二进制的数据文件，不能直接使用tail、less 等文本查看工具进行浏览,需要使用 who、w、users、last 和 lastb 等用户查询命令来获取日志信息。
（1）查询当前登录的用户情况--users、who、w命令
users 命令只是简单地输出当前登录的用户名称，每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话，那他的用户名将显示与其相同的次数。user 命令的具体操作如下:
who 命令用于报告当前登录到系统中的每个用户的信息。使用该命令，系统管理员可以查看当前系统存在哪些不合法用户，从而对其进行审计和处理。who的默认输出包括用户名、终端类型、登录日期及远程主机。who 命令的具体操作如下:
w命令用于显示当前系统中的每个用户及其所运行的进程信息，比users、wo 命令的输出内容要丰富一些。w命令的具体操作如下:
（2）查询用户登录的历史记录——last、lastb命令
last 命令用于查询成功登录到系统的用户记录，最近的录情况将显示在最前面。通过last 命令可以及时掌握 Linux 主机的登录情况，若发现未经授权的用户登录过，则表示当前主机可能已被入侵。last命令的具体操作如下:
lastb 命令用于查询登录失败的用户记录，如登录的用户名错误、密码不正确等情况都将记录在案。登录失败的情况属于安全事件，因为这表示可能有人在尝试猜解你的密码。除了使用 lastb 命令查看以外，也可以直接从安全日志文件/ar/log/secure 中获得相关信息。
或者
从上述查询结果可以看到，teacher用户在 tty3 终端上出现了失败登录
3、程序日志
在 Linux 操作系统中，还有相当一部分应用程序没有使用rsyslog 服务来管理日志，而是由程序自己维护日志记录。例如，httpd 网站服务程序使用两个日志文件 access log 和error_log分别记录客户访问事件和错误事件。不同应用程序的日志记录格式差别较大，且没有严格使用统一的格式，这里不再详细介绍。
总的来说，作为一名合格的系统管理人员，应该提高警惕，随时注意各种可疑状况，定期并随机检查各种系统日志文件，包括一般信息日志、网络连接日志、文件传输日志及用户登录日志记录等。在检查这些日志时，要注意是否有不合常理的时间或操作记录。例如，出
现以下现象就应多加注意。
- 用户在非常规的时间登录，或者用户登录系统的IP地址和以往的不一样。
- 用户登录失败的日志记录，尤其是那些一再连续尝试进入失败的日志记录。
- 非法使用或不正当使用超级用户权限:
- 无故或者非法重新启动各项网络服务的记录。
- 不正常的日志记录，如日志残缺不全，或者是诸如wtmp 这样的日志文件无故缺少了中间的记录文件。