ELK logstash 配置语法

数据类型

logstash支持的数据类型有：

array

数组可以是单个或者多个字符串值。

path => [ "/var/log/messages", "/var/log/*.log" ]

path => "/data/mysql/mysql.log"

如果指定了多次，追加数组。此实例path数组包含三个字符串元素。

boolean

布尔值必须是TRUE或者false。true和false不能有引号。

ssl_enable => true

bytes

指定字节单位。支持的单位有SI (k M G T P E Z Y) 和 Binary (Ki Mi Gi Ti Pi Ei Zi Yi)。Binary单位基于1024，SI单位基于1000。不区分大小写和忽略值与单位之间的空格。如果没有指定单位，默认是byte。

my_bytes => "1113" # 1113 bytes

my_bytes => "10MiB" # 10485760 bytes

my_bytes => "100kib" # 102400 bytes

my_bytes => "180 mb" # 180000000 bytes

Codec

logstash编码名称用来表示数据编码。用于input和output段。便于数据的处理。如果input和output使用合适的编码，就无需单独的filter对数据进行处理。

codec => "json"

hash

键值对，注意多个键值对用空格分隔，而不是逗号。

match => {

"field1" => "value1"

"field2" => "value2"

... }

number

必须是有效的数值，浮点数或者整数。

port => 33

password

一个单独的字符串。

my_password => "password"

path

一个代表有效的操作系统路径。

my_path => "/tmp/logstash"

string

name => "Hello world"

name => 'It\'s a beautiful day'

字段引用

logstash字段引用语法。要在 Logstash 配置中使用字段的值，只需要把字段的名字写在中括号 [] 里就行了，这就叫字段引用。还需注意字段层次。如果引用的是一个顶级字段，可以省略[]，直接指定字段名。要引用嵌套的字段，需要指定完整的路径，如[top-level field][nested field]。

下面有五个顶级字段(agent, ip, request, response, ua) 和三个嵌套字段 (status, bytes, os)。

"agent" : "Mozilla/5.0 (compatible; MSIE 9.0)" ,
   "ip" : "192.168.24.44" ,
   "request" : "/index.html"
   "response" : {
     "status" : 200 ,
     "bytes" : 52353
   } ,
   "ua" : {
     "os" : "Windows 7"
   }
}

为了引用os字段，需指定[ua][os]。引用顶级字段如request，可以简单指定request即可。

sprintf格式

字段引用格式也可以用于logstash调用sprintf格式。这种格式可以从其他字符串中引用字段值。如：

output {
   statsd {
     increment = > "apache.%{[response][status]}"
   }
}

也可以格式化时间。如：

output {
   file {
     path = > "/var/log/%{type}.%{+yyyy.MM.dd.HH}"
   }
}

条件判断

使用条件来决定filter和output处理特定的事件。

logstash条件类似于编程语言。条件支持if、else if、else语句，可以嵌套。

条件语法如下：

if EXPRESSION {
   . . .
} else if EXPRESSION {
   . . .
} else {
   . . .
}

比较操作有：

相等: ==, !=, <, >, <=, >=