linux文件系统与日志分析

标签：文件 inode 文件系统 rsyslog linux 日志 root localhost

一、inode结构

1.1inode与block

（1）文件的概述

文件数据包括元信息与实际信息；
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节。
一个文件必须占用一个inode, 并且至少占用一个block

（2）block：（块）的概念
连续的八个扇区组成一个block（4k）；
是文件存取的最小单位
操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取

（3）inode：（索引节点）的概念
存储文件元信息( 比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode
中文译名为“索引节点”，也叫i节点；
用于存储文件元信息
inode不包含文件名。文件名是存放在目录当中的

（4）inode和block的关系

Linux 系统中一切皆文件，因此目录也是一种文件
每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux 系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名
当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码;通过inode号码，获取inode信息;根据inode信息，看该用户是否具有访问这个文件的权限; 如果有，就指向相对应的数据block，并读取数据

查看文件名对应的inode号码的方式：
查看文件名对应的inode号码：ls -i 文件名
查看文件信息中的inode号码：stat 文件名

（5）Linux系统文件三个主要的时间属性
ctime(change time)：最后一次改变文件或目录(属性)的时间
atime(access time)：最后一次访问文件或目录的时间
mtime(modify time)：最后一次修改文件或目录(内容)的时间

（6）用户通过文件名打开文件时，系统内部的过程
系统找到这个文件名对应的inode号码
通过inode号码，获取inode信息
根据inode信息，找到文件数据所在的block,读出数据

（7）硬盘分区后的结构

（8）访问文件的简单流程

（9）indo号
inode的大小：

inode也会消耗硬盘空间：每个inode的大小一般是128字节或者256字节；
格式化文件系统时确定inode的总数；
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

inode特点：

由于inode 号码与文件名分离，导致Linux系统具备以下几种特有的现象:
文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用;
移动文件或重命名文件，只是改变文件名，不影响inode 号，但是复制的话，会生成一个新的inode号
打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。
文件数据被修改保存后，会生成一个新的inode 号码

删除inode号方法：

方法一：[root@localhost /data]#find -inum 102440737 -exec rm {} \;
方法二：[root@localhost /data]#find -inum 102440739 -delete

find命令详解：find pathname -option [-print ] [ -exec | -ok command ] {} ;
命令参数：
pathname：find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。
-print：find命令将匹配的文件输出到标准输出。
-exec：find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为command { } ;，注意{ }和\；之间的空格。
-ok：和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。

1.2inode节点耗尽故障处理

inode也会消耗硬盘空间，当inode的空间消耗完以后，即使硬盘还有空间，也无法使用。解决方法：如果是逻辑卷，扩容；如果不是，删除没有用的文件。

 模拟inode号被占满实验代码：
 1 [root@localhost ~]#fdisk /dev/sdb
 2 [root@localhost ~]#mkfs.ext4 /dev/sdb1
 3 [root@localhost ~]#mount /dev/sdb1 /data
 4 [root@localhost ~]#df -Th
 5 [root@localhost ~]#cd /data
 6 [root@localhost /data]#ls
 7 [root@localhost /data]#df -i
 8 [root@localhost /data]#touch {1..2550}.txt
 9 [root@localhost /data]#df -i
10 [root@localhost /data]#touch feizirui.txt
11 [root@localhost /data]#rm -rf *.txt
12 [root@localhost /data]#touch feizirui.txt
13 [root@localhost /data]#ls

二、日志

内核及系统日志由系统服务 rsyslog 统一管理，根据其主配置文件 /etc/rsyslog.conf
Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下

2.1常见的一些日志文件

2.2系统日志介绍

（1）sysklogd系统日志服务：CentOS 5 之前版本采用的日志管理系统服务

syslogd: system application 记录应用日志
klogd: linux kernel 记录内核日志

事件记录格式：

日期时间主机进程[pid]：事件内容
C/S架构：通过TCP或UDP协议的服务完成日志记录传送，将分布在不同主机的日志实现集中管理

（2）rsyslog系统日志服务：CentOS 6以后版本的系统管理服务(官网：http://www.rsyslog.com/)

它提供了高性能，出色的安全性和模块化设计。虽然rsyslog最初是常规的syslogd，但是它能够接受来自各种来源的输入，并将其转换，然后输出到不同的目的地。
当应用有限的处理时，rsyslog每秒可以将超过一百万的消息传递到本地目的地。即使在远程的目的地和更精细的处理中，性能通常也被认为是惊人的。

rsyslog 特性：

多线程
支持UDP, TCP, SSL, TLS, RELP
支持MySQL, PGSQL, Oracle实现日志存储
强大的过滤器，可实现过滤记录日志信息中任意部分
自定义输出格式可以日志
适用于企业级

（3）ELK：由Elasticsearch, Logstash, Kibana三个软件组成

非关系型分布式数据库基于apache软件基金会jakarta项目组的项目lucene
Elasticsearch是个开源分布式搜索引擎，可以处理大规模日志数据，比如：Nginx、Tomcat、系统日志等功能
Logstash对日志进行收集、分析，过滤，并将其存储供以后使用
Kibana 可以提供的日志分析友好的 Web 界面

2.3rsyslog管理（配置文件：/etc/rsyslog.conf；/etc/rsyslog.d/*.conf）

（1）facility(设施)：从功能或程序上对日志进行归类

内置分类：auth（验证）, authpriv, cron（定时任务）, daemon,ftp,kern, lpr, mail, news, security(auth), user, uucp, syslog
自定义的分类：local0-local7

（2）Priority 优先级别，从低到高排序

（3）查看帮助： man 3 syslog，man logger

实验1：将ssh服务日志单独设置(优点：压缩功能传输快；密文传输)

实验环境:
第一部分：CentOS7.4-1终端1：实时查看日志变化
[root@localhost ~]#tail -f /var/log/secure 

第二部分：CentOS7.4-1终端2：修改配置文件，重启服务
[root@localhost ~]#vim /etc/ssh/sshd_config
33行添加：SyslogFacility LOCAL6
[root@localhost /opt]#vim /etc/rsyslog.conf
74行添加：local6.*                                                /opt/ssh.log

第三部分：[root@localhost /opt]#systemctl restart rsyslog.service sshd
CentOS7.4-2终端：测试ssh远程登录CentOS7.4-1机器
[root@localhost ~]#ssh 192.168.10.10

实验2：网络日志(远程日志功能)

实验环境:
实验目的：将CentOS7.4-1的日志导入到CentOS7.4-2中
CentOS7.4-1终端：修改配置文件，重启服务,测试

[root@localhost ~]#vim /etc/rsyslog.conf 
步骤1：打开15，16行
#15 $ModLoad imudp
#16 $UDPServerRun 514
步骤2：复制54行                                                                改成要导入到底服务器ip地址
55 *.info;mail.none;authpriv.none;cron.none                @@192.168.10.20
[root@localhost ~]#systemctl restart rsyslog.service
[root@feizirui ~]#logger "###########你真棒，你真是个小天才！#############"
[root@feizirui ~]#cat /var/log/messages

CentOS7.4-2终端：作为主服务器，修改配置文件，重启服务
[root@localhost ~]#vim /etc/rsyslog.conf 
打开15，16行
#15 $ModLoad imudp
#16 $UDPServerRun 514
[root@localhost ~]#systemctl restart rsyslog.service
[root@localhost ~]#ss -ntap |grep 514

将要导入到服务器的配置文件