一、loki说明
主要3个插件
- loki
主要负责日志的存储和收集,主要安装在日志存储服务器
- grafana
负责日志页面的展示,主要安装在主存储服务器
- promtail
日志收集插件,安装在需要收集日志的服务器,进行日志上传
说明:
loki日志系统安装有多种方式,二进制安装,yum安装、docker安装、helm安装、k8s安装等。
二、docker-compose方式安装loki和使用
1、安装
创建日志存储loki的配置文件
vim /opt/loki/loki-local-config.yaml
auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_port: 39095 #grpc监听端口,默认为9095
grpc_server_max_recv_msg_size: 15728640 #grpc最大接收消息值,默认4m
grpc_server_max_send_msg_size: 15728640 #grpc最大发送消息值,默认4m
ingester:
lifecycler:
address: 127.0.0.1
ring:
kvstore:
store: inmemory
replication_factor: 1
final_sleep: 0s
chunk_idle_period: 5m
chunk_retain_period: 30s
max_transfer_retries: 0
max_chunk_age: 20m
schema_config:
configs:
- from: 2018-04-15
store: boltdb
object_store: filesystem
schema: v11
index:
prefix: index_
period: 168h
storage_config:
boltdb:
directory: /loki/index
filesystem:
directory: /loki/chunks
limits_config:
enforce_metric_name: false
reject_old_samples: true
reject_old_samples_max_age: 168h
ingestion_rate_mb: 30
ingestion_burst_size_mb: 15
chunk_store_config:
max_look_back_period: 168h #回看日志行的最大时间,只适用于即时日志
table_manager:
retention_deletes_enabled: true #日志保留周期开关,默认为false
retention_period: 168h #日志保留周期
loki节点
vim /opt/loki/docker-compose.yaml
version: "3"
networks:
loki:
services:
loki:
image: grafana/loki:2.3.0
ports:
- "3100:3100"
command: -config.file=/opt/loki/loki-local-config.yaml
networks:
- loki
promtail:
image: grafana/promtail:2.3.0
volumes:
- /var/log:/var/log
- /var/lib/docker:/var/lib/docker
- /etc/promtail:/etc/promtail
command: -config.file=/opt/loki/promtail-docker-config.yml
networks:
- loki
grafana:
image: grafana/grafana:latest
ports:
- "3000:3000"
networks:
- loki
创建日志收集发送 promtail的配置文件
vim /opt/loki/promtail-local-comfig.yaml
server:
http_listen_port: 9080
grpc_listen_port: 0
positions:
filename: /tmp/positions.yaml
clients:
- url: http://localhost:3100/loki/api/v1/push #日志上传地址
scrape_configs:
- job_name: xzyy #namespace名字
static_configs:
- targets:
- node-111 #node节点名字
labels:
job: varlogs #job名字,可以自定义
__path__: /var/lib/docker/overlay2/*/diff/home/jhipster/*log #日志地址根据实际情况修改
promtail节点
创建日志收集发送 promtail的配置文件
vim /opt/loki/promtail-local-comfig.yaml
server:
http_listen_port: 9080
grpc_listen_port: 0
positions:
filename: /tmp/positions.yaml
clients:
- url: http://lokiIP:3100/loki/api/v1/push
scrape_configs:
- job_name: xzyy
static_configs:
- targets:
- node-111
labels:
job: varlogs
__path__: /var/lib/docker/overlay2/*/diff/home/jhipster/*log
2、使用
访问:http://lokiIP:3000
添加数据源:设置--》datasource --》 添加loki 或 ip :3100
nginx代理使用stream或者location
三、k8s方式安装
标签:promtail,grpc,grafana,loki,日志,config From: https://www.cnblogs.com/chuanghongmeng/p/16737106.html