目录
- 1.环境准备
- 2.部署 Elasticsearch 软件
- 3. 安装 Elasticsearch-head 插件
- 4. ELK Logstash 部署(在 Apache 节点上操作)
- 5. ELK Kiabana 部署(在 Apache 节点上操作)
- node1节点(2C/4G):node1/192.168.175.107 Elasticsearch
- node2节点(2C/4G):node2/192.168.175.108 Elasticsearch
- Apache节点:apache/192.168.175.109 Logstash Kibana Apache
1.环境准备
systemctl stop firewalld.service
setenforce 0
#设置Java环境
java -version #如果没有安装,yum -y install java
#改主机名
hostnamectl set-hostname es01
hostnamectl set-hostname es02
hostnamectl set-hostname apache
su
2.部署 Elasticsearch 软件
2.1 安装 elasticsearch—rpm 包
#上传 elasticsearch-6.7.2.rpm 到 /opt 目录下
cd /opt/
ls
rm -rf *
ls
vim /etc/hosts
cat /etc/hosts
192.168.175.107 es01
192.168.175.108 es02
192.168.175.109 apache
#将 elasticsearch-6.7.2.rpm 包远程拷贝给 es02
scp elasticsearch-6.7.2.rpm es02:/opt
rpm -ivh elasticsearch-6.7.2.rpm
cd /opt
ls
vim /etc/hosts
2.2 修改 elasticsearch 主配置文件
cd /etc/elasticsearch/
ls
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
#17 取消注释,指定集群名字
cluster.name: my-elk-cluster
#23 取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
node.master: true #是否master节点,false为否
node.data: true #是否数据节点,false为否
#33 取消注释,指定数据存放路径
path.data: /var/lib/elasticsearch
#37 取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch
#43 取消注释,避免es使用swap交换分区
bootstrap.memory_lock: true
#55 取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
#59 取消注释,ES 服务的默认监听端口为9200
http.port: 9200 #指定es集群提供外部访问的接口
transport.tcp.port: 9300 #指定es集群内部通信接口
#68 取消注释,集群发现通过单播实现,指定要发现的节点
discovery.zen.ping.unicast.hosts: ["192.168.175.107:9300", "192.168.175.108:9300"]
vim jvm.options
free m
vim jvm.options
cat elasticsearch.yml | grep -v "^#"
es02
rpm -ivh elasticsearch-6.7.2.rpm
# es01 将 es01 已经配置好的内容远程拷贝到 es02
scp elasticsearch.yml es02:`pwd`
#在 es02 配置文件中做简单修改
cd /etc/elasticsearch/
ls
vim elasticsearch.yml
2.3 es 性能调优参数
#优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf
......
* soft nofile 65536
* hard nofile 65536
* soft nproc 32000
* hard nproc 32000
* soft memlock unlimited
* hard memlock unlimited
vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
需重启生效
reboot
ulimit -a
vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数,参考数据(分配 2g/262144,4g/4194304,8g/8388608)
sysctl -p
sysctl -a | grep vm.max_map_count
2.4 启动elasticsearch是否成功开启
systemctl enable --now elasticsearch.service
systemctl status elasticsearch.service
netstat -antp | grep 9200
2.5 查看节点信息
浏览器访问 http://192.168.175.107:9200 、 http://192.168.175.107:9200 查看节点 Node1、Node2 的信息。
浏览器访问 http://192.168.175.107:9200/_cluster/health?pretty 、 http://192.168.175.108:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。
浏览器访问 http://192.168.175.107:9200/_cluster/state?pretty 检查群集状态信息。
#使用上述方式查看群集的状态对用户并不友好,可以通过安装 Elasticsearch-head 插件,可以更方便地管理群集。
3. 安装 Elasticsearch-head 插件
3.1 编译安装 node
yum install gcc gcc-c++ make -y
cd /opt
#上传软件包 elasticsearch-head-master.zip 到/opt
#上传软件包 node-v8.2.1.tar.gz 到/opt
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt
tar xf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure && make -j2 && make install
3.2 安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到 /opt
cd /opt
ls
tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/
ls
cd bin/
ls
cp phantomjs /usr/local/bin
3.3 安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head-master.zip 到/opt
cd /opt
ls
unzip elasticsearch-head-master.zip
ls
cd elasticsearch-head-master/
ls
npm install //安装依赖包
3.4 修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
#末尾添加以下内容
http.cors.enabled: true #开启跨域访问支持,默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
systemctl restart elasticsearch.service
3.5 启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
cd /usr/local/src/elasticsearch-head-master/
npm run start &
> [email protected] start /opt/elasticsearch-head-master
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100
3.6 插入索引
#通过命令插入一个测试索引,索引为 index-demo,类型为 test。
curl -X PUT 'http://192.168.175.107:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
浏览器访问 http://192.168.175.107:9100/ 查看索引信息,可以看见索引默认被分片5个,并且有一个副本。
点击“数据浏览”,会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。
curl -XGET http://192.168.175.107:9200/index-demo/_settings
#删除索引
curl -XDELETE http://192.168.175.107:9200/index-demo/
浏览器访问 http://192.168.175.107:9100/ 刷新 已删除
4. ELK Logstash 部署(在 Apache 节点上操作)
4.1 安装 Apahce 服务(httpd)
yum install httpd -y
systemctl enable --now httpd
4.2 安装 logstash
#上传软件包 logstash-6.7.2.rpm 到/opt目录下
cd /opt
ls
rm -rf *
ls
rpm -ivh logstash-6.7.2.rpm
systemctl enable --now logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
4.3 测试 Logstash
Logstash 命令常用选项:
-f:通过这个选项可以指定 Logstash 的配置文件,根据配置文件配置 Logstash 的输入和输出流。
-e:从命令行中获取,输入、输出后面跟着字符串,该字符串可以被当作 Logstash 的配置(如果是空,则默认使用 stdin 作为输入,stdout 作为输出)。
-t:测试配置文件是否正确,然后退出。
定义输入和输出流:
#输入采用标准输入,输出采用标准输出(类似管道),新版本默认使用 rubydebug 格式输出
logstash -e 'input { stdin{} } output { stdout{} }'
#使用 rubydebug 输出详细格式显示,codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
......
www.baidu.com #键入内容(标准输入)
{
"@timestamp" => 2020-12-22T02:15:39.136Z, #输出结果(标准输出处理后的结果)
"@version" => "1",
"host" => "apache",
"message" => "www.baidu.com"
}
#使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.175.107:9200","192.168.175.108:9200"] } }'
输入 输出 对接
......
www.baidu.com #键入内容(标准输入)
www.sina.com.cn #键入内容(标准输入)
www.google.com #键入内容(标准输入)
//结果不在标准输出显示,而是发送至 Elasticsearch 中,可浏览器访问 http://192.168.175.107:9100/ http://192.168.175.108:9100/查看索引信息和数据浏览。
4.4 定义 logstash 配置文件
cd /var/log
ll
chmod a+r messages
ll
cd /etc/logstash/conf.d/
ls
vim system_log.conf
cat system_log.conf
input {
file {
path => "/var/log/messages"
type => "syslog"
start_position => "beginning"
}
}
#filter {}
output {
stdout { codec => rubydebug }
elasticsearch {
hosts => ["192.168.175.107:9200","192.168.175.108:9200"]
index => "syslog-%{+yyyy.MM.dd}"
}
}
logstash -f system_log.conf
浏览器刷新 http://192.168.175.107:9100/ 查看多了一个syslog
5. ELK Kiabana 部署(在 Apache 节点上操作)
5.1 安装 Kiabana
#上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录
cd /opt
ls
rpm -ivh kibana-6.7.2-x86_64.rpm
5.2 设置 Kibana 的主配置文件
cd /etc/kibana
ls
vim kibana.yml
#2 取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
#7 取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
#28 取消注释,配置es服务器的ip,如果是集群则配置该集群中master节点的ip
elasticsearch.url: ["http://192.168.80.10:9200","http://192.168.80.11:9200"]
#37 取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
#96 取消注释,配置kibana的日志文件路径(需手动创建),不然默认是messages里记录日志
logging.dest: /var/log/kibana.log
5.3 创建日志文件,启动 Kibana 服务
touch /var/log/kibana.log
ll /var/log/kibana.log
id kibana
chown kibana.kibana /var/log/kibana.log
ll /var/log/kibana.log
systemctl enable --now kibana.service
netstat -lntp | grep 5601
5.4 验证 Kibana
浏览器访问 http://192.168.175.109:5601
第一次登录需要添加一个 Elasticsearch 索引:
Management -> Index Pattern -> Create index pattern
Index pattern 输入:system-* #在索引名中输入之前配置的 Output 前缀“system”
Next step -> Time Filter field name 选择 @timestamp -> Create index pattern
单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示,在“Available Fields”中的“host”,然后单击 “add”按钮,可以看到按照“host”筛选后的结果
浏览器访问 http://192.168.175.107:9100
5.5 将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
cd /etc/logstash/conf.d/
ls
vim apache_log.conf
cat apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.175.107:9200","192.168.175.108:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.175.107:9200","192.168.175.108:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
logstash -f apache_log.conf
标签:ELK,http,9200,系统,192.168,elasticsearch,175.107,日志,log
From: https://www.cnblogs.com/LJ69/p/17762196.html