用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统

标签：plugin root redis 192.168 logstash Elasticsearch Kibana soft Logstash

搭建该平台的目的就是为了运维、研发很方便的进行日志的查询。Kibana一个免费的web壳；Logstash集成各种收集日志插件，还是一个比较优秀的正则切割日志工具；Elasticsearch一个开源的搜索引擎框架（支持群集架构方式）。

1 安装需求

1.1 理论拓扑

1.2 安装环境

先看看都需要安装什么软件包
ruby 运行Kibana 必须，
rubygems 安装ruby扩展必须
bundler 功能类似于yum
JDK 运行java程序必须
redis 用来处理日志队列
logstash 收集、过滤日志
ElasticSearch 全文搜索服务(logstash集成了一个)
kibana 页面展示

192.168.233.128 logstash index，kibana，JDK
192.168.233.129 logstash agent，JDK
192.168.233.130 redis
192.168.233.131 ElasticSearch，JDK

logstash分为 index和agent ，agent负责监控、过滤日志，index负责收集日志并将日志交给ElasticSearch 做搜索。此外 logstash 的收集方式分为 standalone 和 centralized。

standalone 是所有功能都在一个服务器上面，自发自收，centralized 就是集中收集，一台服务器接收所有shipper(个人理解就是logstash agent)的日志。其实 logstash本身不分什么 shipper 和 collector ，只不过就是配置文件不同而已，我们这次按照集中的方式来测试。

在 logstash index上安装基础的软件环境：

vi /etc/apt/sources.list

deb http://ftp.debian.org/debian/ squeeze main non-free

deb-src http://ftp.debian.org/debian/ squeeze main non-free

# apt-get update

# apt-cache search sun-java

# apt-get install sun-java6-jdk sun-java6-jre

# java -version

# apt-get install ruby rubygems

# gem install bundler

开始安装logstash

其实logstash 就是一个java脚本，不需要安装... 下载即用
[192.168.233.128 root@nodec:/soft]
# wget http://logstash.objects.dreamhost.com/release/logstash-1.1.0-monolithic.jar
现在看看这个脚本应该怎么去执行
[192.168.233.128 root@nodec:/soft]
# java -jar /soft/logstash-1.1.0-monolithic.jar -h
No such command "-h"
Available commands:
-v
-V
--version
agent
web
test
显然没有 -h 参数，不过列出了能用的参数，但是logstash的参数可不止这些，
java -jar /soft/logstash-1.1.0-monolithic.jar agent --help
这些是在agent模式下的命令参数
-f, --config CONFIGFILE
Load the logstash config from a specific file, directory, or a wildcard. If given a directory or wildcard, config files will be readinorder
-e CONFIGSTRING
as the configuration data. Same syntax as the config file. If not input is specified, 'stdin { type => stdin }'isdefault. If nooutputis specified, 'stdout { debug => true }}'isdefault.
-w, --filterworks COUNT
COUNT filter workers (default: 1)
--watchdog-timeout TIMEOUT
Set
-l, --log FILE
to a given path. Defaultisto log to
-v
of verbosity available with'-vv'
--pluginpath PLUGIN_PATH
to find other logstash plugins in
java -jar /soft/logstash-1.1.0-monolithic.jar web --help
下面的是在web界面的参数
--log FILE
to a given path. Defaultis
--address ADDRESS
on which to start webserver. Defaultis
--port PORT
on which to start webserver. Defaultis
-B, --elasticsearch-bind-host ADDRESS
on which to
-b, --backend URL
to use. Defaultis

如果上面的这些命令都能执行正常的话就表示 logstash可以使用了，但要让他启动还需要一个配置文件

input {

redis {

host => '192.168.233.130'

data_type => 'list'

port => "6379"

key => 'logstash:redis'

type => 'redis-input'

output {

elasticsearch {

host => '192.168.233.131'

port => "9300"

解释一下 logstash的配置文件由 input filter output 等几个基本的部分组成，顾名思义 input 就是在那收集数据，output就是输出到哪，filter代表一个过滤规则意思是什么内容会被收集。上面这段是让 logstash 去192.168.233.130 这个redis服务器上去收集日志 redis端口为6379，key是 logstash:redis 类型为 redis-input ，（注意:这几个值必须跟logstash agent的 output 所对应），收集完成后输出到 elasticsearch ,embedded => true 的意思是使用logstash 内嵌的 elasticsearch。如果有独立的elasticsearch服务器，需要将这条改为 host => 'elasticsearch的ip' port => 端口

安装redis

下载安装就比较简单了

配置文件里的那几个路径要提前建好 mkdir -p /data/redis  cd /data/redis/  mkdir {db,log,etc}

[192.168.233.130 root@nodea:/soft]
# wget http://redis.googlecode.com/files/redis-2.4.14.tar.gz
[192.168.233.130 root@nodea:/data/redis/etc]
# make –j24
[192.168.233.130 root@nodea:/data/redis/etc]
# make install

我用的是最简单的配置，
[192.168.233.130 root@nodea:/data/redis/etc]
# vim redis.conf
#this is the config file for
pidfile /var/run/redis.pid
port 6379
timeout 0
loglevel verbose
logfile /data/redis/log/redis.log
dbfilename dump.rdb
dir /data/redis/db/
vm-swap-file /tmp/redis.swap
activerehashing yes
启动命令如下
[192.168.233.130 root@nodea:/data/redis/etc]
# redis-server /data/redis/etc/redis.conf &

看看 redis服务的状态

[192.168.233.130 root@nodea:/data/redis/etc]
# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
redis-ser 2732 root 4u IPv4 7946 TCP *:6379 (LISTEN)
redis-ser 2732 root 5u IPv4 7963 TCP localhost.localdomain:6379->localhost.localdomain:19214 (ESTABLISHED)
java 2733 root 9u IPv4 7959 TCP localhost.localdomain:19214->localhost.localdomain:6379 (ESTABLISHED)

安装elasticsearch

elasticsearch会依赖于JAVA_HOME环境变量,所以需要设置JAVA_HOME环境变量。首先查看你的Java的安装路径

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.18.7.zip

unzip elasticsearch-0.18.7.zip

mv elasticsearch-0.18.7 /usr/local/share/elasticsearch

cd /usr/local/share/elasticsearch/bin/

./elasticsearch -f

好了，可以让logstash index 开始启动了

好了，看到9292 端口启动就代表启动成功了，检查一下

现在可以通过浏览器访问一下 http://192.168.233.128:9292 看看logstash是的页面是个什么样子

现在还不能搜索因为现在还没有数据，其实这个时候 http://192.168.233.128:9200 也是可以访问的，
很多开发自己写代码来调用elasticsearch 来实现他们自己的需要，这里就不多说了。

[192.168.233.128 root@nodec:/soft]
# lsof -i:9292
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
java 5205 root 465u IPv4 130805 TCP *:armtechdaemon (LISTEN)
其实logstash还启动了一个端口9200，因为启动了内嵌的 elasticsearch，这个9200是 elasticsearch在监听
[192.168.233.128 root@nodec:/soft]
# lsof -i:9200
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
java 5205 root 160u IPv4 130682 TCP *:wap-wsp (LISTEN)
[192.168.233.128 root@nodec:/soft]
# java -jar /soft/logstash-1.1.0-monolithic.jar agent -f /soft/redis.conf -- web &
[1] 5205
...这里要等待约5秒钟... 为什么？去问开发者吧
[192.168.233.128 root@nodec:/soft]
# I, [2013-03-19T03:23:10.749000 #5205] INFO -- : Using beta plugin 'redis'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status {"timestamp":"2013-03-19T03:23:10.732000 -0700","message":"Using beta plugin 'redis'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status ","level":"info"}
file:/soft/logstash-1.1.0-monolithic.jar!/gems/rack-1.3.4/lib/rack/backports/uri/common_192.rb:53 warning: already initialized constant WFKV_
Mizuno 0.5.0 (Jetty 8.0.y.z-SNAPSHOT) listening on
解释一下上面的命令 agent 代理模式 -f 指定配置文件 --web 其实是个分隔符等于又启动了一个命令，后面的参数就是开启一个web页面默认端口是9292,这个命令如果拆成两个就是这个样子
java -jar /soft/logstash-1.1.0-monolithic.jar agent -f /soft/redis.conf &
java -jar /soft/logstash-1.1.0-monolithic.jar web &

配置logstash的agent
登录到服务器 192.168.233.129 安装基本软件包和logstash

安装sun-java6-jre sun-java6-jdk

[192.168.233.129 root@noded:/soft]
# atp-get install ruby
192.168.233.129 root@noded:/soft]
# wget http://logstash.objects.dreamhost.com/release/logstash-1.1.0-monolithic.jar
[192.168.233.129 root@noded:/soft]
# vim redis.conf
input {
file {
"producer"
"/soft/apache.log"
}
file {
"php-log"
"/soft/php.log"
}
}
filter {
grep {
"@message", "mysql|GET|error"
}
}
output
redis {
'192.168.233.130'
'list'
key => 'logstash:redis'
}
}

大概说一下这个配置文件 input 里的file就是要监视的文件了这里我监视了两个文件，如果这两个文件有追加的内容就会通过下面的output设置发给 redis服务器
filter 里的grep 意思就是 grep... 后面这段就是日志内容里面只要有匹配 mysql或GET或error的内容就会被过滤出来，发送到 logstash index
以上就是一个比较简单的配置文件了，让我们启动他

[192.168.233.129 root@noded:/soft]
# java -jar /soft/logstash-1.1.0-monolithic.jar agent -f /soft/redis.conf &
I, [2013-03-19T19:45:35.762000 #2721] INFO -- : Using beta plugin 'file'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status {"timestamp":"2013-03-19T19:45:35.752000 -0700","message":"Using beta plugin 'file'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status ","level":"info"}
I, [2013-03-19T19:45:35.778000 #2721] INFO -- : Using beta plugin 'file'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status {"timestamp":"2013-03-19T19:45:35.778000 -0700","message":"Using beta plugin 'file'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status ","level":"info"}
I, [2013-03-19T19:45:35.804000 #2721] INFO -- : Using beta plugin 'grep'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status {"timestamp":"2013-03-19T19:45:35.803000 -0700","message":"Using beta plugin 'grep'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status ","level":"info"}
I, [2013-03-19T19:45:35.854000 #2721] INFO -- : Using beta plugin 'redis'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status {"timestamp":"2013-03-19T19:45:35.853000 -0700","message":"Using beta plugin 'redis'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status ","level":"info"}

只要没有 warning 和 error就算是正常启动了
启动之前请确定 192.168.233.130的 redis服务器已经启动，不然会报错。

最后我们回到 logstash agent 上面测试一下