ELK日志分析系统

拓扑图：

推荐步骤：

• 搭建ElaticSearch群集,通过浏览器查看和图形管理群集
• 配置客户端装apache和logstash服务配置采集apache日志
• 配置kibana监听elasticsearch服务器日志

实验步骤：

一、搭建Elaticsearch群集,通过浏览器查看和图形管理群集

1、配置第一台Elaticsearch服务器

（1）修改hosts文件复制到其他节点

（2）切换到ELK光盘

（3）挂载ELK程序光盘到/mnt

（4）安装Elasticsearch服务器设置服务开机自动启动

（5）修改第一台Elasticsearch主配置文件

vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-elk-cluster
node.name: Centos01
path.data: /path/to/data
path.logs: /path/to/logs
bootstrap.memory_lock: false
network.host: 192.168.100.10
http.port: 9200
discovery.zen.ping.unicast.hosts: ["Centos01", "Centos02"]

（6）创建数据存储目录和日志存储目录

（7）守护进程访问启动服务

（8）监听端口号

2、配置第二台Elaticsearch服务器

（1）切换到ELK光盘

（2）挂载ELK程序光盘到/mnt

（3）安装Elasticsearch服务器设置服务开机自动启动

（4）修改第一台Elasticsearch主配置文件

vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-elk-cluster
node.name: Centos02
path.data: /path/to/data
path.logs: /path/to/logs
bootstrap.memory_lock: false
network.host: 192.168.100.20
http.port: 9200
discovery.zen.ping.unicast.hosts: ["Centos01", "Centos02"]

（5）创建数据存储目录和日志存储目录

（6）守护进程访问启动服务

（7）监听端口号

3、配置第一台Elasticsearch服务器安装图形化管理

（1）安装依赖程序node

（2）安装phantomjs依赖

（3）安装slasticsearch-head

cd

（4）修改elasticsearch主配置文件

http.cors.enabled: true
http.cors.allow-origin: "*"

（5）重新启动elasticsearch服务

systemctl restart elasticsearch

（6）修改elasticsearch-head配置文件

4329 this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.100.10:9200";

（7）修改elasticsearch-head配置文件监听端口9100端口

93                                         hostname:'192.168.100.10',
94                                         port: 9100,

（8）启动服务监听端口

（9）监听9100端口

4、配置第二台Elasticsearch服务器安装图形化管理

（1）安装依赖程序node

（2）安装phantomjs依赖

（3）安装slasticsearch-head

（4）修改elasticsearch主配置文件

http.cors.enabled: true
http.cors.allow-origin: "*"

（5）重新启动elasticsearch服务

（6）修改elasticsearch-head配置文件

4329 this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.100.20:9200";

（7）修改elasticsearch-head配置文件监听端口9100端口

93  hostname:'192.168.100.20',
94 port: 9100,

（8）启动服务监听端口

（9）监听9100端口

5、客户端访问图形界面查看你群集运行状态

（1）访问elasticsearch群集

（2）访问群集状态

（3）使用elasticsearch-head图形化管理群集

二、配置客户端装apache和logstash服务配置采集apache日志

1、客户端安装apache服务器

（1）切换到系统光盘

（2）挂载系统盘到/mnt目录

（3）删除系统自带源配置本地yum源

（4）修改网站主页

echo "www.benet.com"> /var/www/html/index.html

（5）启动服务设置开机自动启动

（6）访问网站

2、apache客户端安装logstash采集日志

（1）切换到ELK光盘

（2）挂载到/mnt目录

（3）安装logstash

（4）启动服务设置开机自动启动

（5）优化命令

ln -s /usr/share/logstash/bin/logstash  /usr/local/bin/

3、配置采集apache成功日志

（1）创建日志采集文件采集成功日志

vim /etc/logstash/conf.d/apache_log.conf

input {
file{
path => "/var/log/httpd/access_log"
type => "access"
start_position => "beginning"
}         
file{
path => "/var/log/httpd/error_log"
type => "error"
start_position => "beginning"
}         
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.100.10:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}  
if [type] == "error" {
elasticsearch {
hosts => ["192.168.100.10:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
} 
}
}

（2）添加执行权限

chmod +x /etc/logstash/conf.d/apache_log.conf

（3）测试采集日志文件是否错误监控apache

（4）重新启动logstash服务采集apache日志

systemctl restart logstash

（5）客户端登录查看apache的成功和失败日志

（6）在数据浏览中查看成功和失败日志

三、配置kibana监听elasticsearch服务器日志

1、在第一台slaticsearch服务安装kibana

（1）安装kibana

（2）修改kibana主配置文件

vim /etc/kibana/kibana.yml

3 server.port: 5601
9 server.host: "192.168.100.10"
24 elasticsearch.url: "http://192.168.100.10:9200"
34 kibana.index: ".kibana"

（3）启动kibana服务设置开机自动启动

（4）监听kibana端口

3、访问elasticsearch服务器

（1）访问elasticsearch服务器采集到kibana日志

（2）查看elasticsearch服务器的日志