日志loki+grafana安装和使用

一、loki说明

　　主要3个插件

• loki   

    主要负责日志的存储和收集，主要安装在日志存储服务器

• grafana

    负责日志页面的展示，主要安装在主存储服务器

• promtail

    日志收集插件，安装在需要收集日志的服务器，进行日志上传

说明：

  loki日志系统安装有多种方式，二进制安装，yum安装、docker安装、helm安装、k8s安装等。

二、docker-compose方式安装loki和使用

  1、安装

创建日志存储loki的配置文件

vim /opt/loki/loki-local-config.yaml

auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 39095 #grpc监听端口，默认为9095
  grpc_server_max_recv_msg_size: 15728640  #grpc最大接收消息值，默认4m
  grpc_server_max_send_msg_size: 15728640  #grpc最大发送消息值，默认4m

ingester:
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s
  max_transfer_retries: 0
  max_chunk_age: 20m

schema_config:
  configs:
    - from: 2018-04-15
      store: boltdb
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 168h

storage_config:
  boltdb:
    directory: /loki/index

  filesystem:
    directory: /loki/chunks

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h
  ingestion_rate_mb: 30
  ingestion_burst_size_mb: 15
  
chunk_store_config:
  max_look_back_period: 168h #回看日志行的最大时间，只适用于即时日志

table_manager:
  retention_deletes_enabled: true #日志保留周期开关，默认为false
  retention_period: 168h #日志保留周期

loki节点

vim /opt/loki/docker-compose.yaml

version: "3"

networks:
  loki:

services:
  loki:
    image: grafana/loki:2.3.0
    ports:
      - "3100:3100"
    command: -config.file=/opt/loki/loki-local-config.yaml
    networks:
      - loki

  promtail:
    image: grafana/promtail:2.3.0
    volumes:
      - /var/log:/var/log
      - /var/lib/docker:/var/lib/docker
      - /etc/promtail:/etc/promtail
    command: -config.file=/opt/loki/promtail-docker-config.yml
    networks:
      - loki

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    networks:
      - loki

创建日志收集发送 promtail的配置文件

vim /opt/loki/promtail-local-comfig.yaml

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://localhost:3100/loki/api/v1/push  #日志上传地址

scrape_configs:
- job_name: xzyy #namespace名字
  static_configs:
  - targets:
      - node-111  #node节点名字
    labels:
      job: varlogs  #job名字，可以自定义
      __path__: /var/lib/docker/overlay2/*/diff/home/jhipster/*log  #日志地址根据实际情况修改

promtail节点 

创建日志收集发送 promtail的配置文件

vim /opt/loki/promtail-local-comfig.yaml

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://lokiIP:3100/loki/api/v1/push

scrape_configs:
- job_name: xzyy
  static_configs:
  - targets:
      - node-111
    labels:
      job: varlogs
      __path__: /var/lib/docker/overlay2/*/diff/home/jhipster/*log

  2、使用

  访问：http://lokiIP:3000

  添加数据源：设置--》datasource --》 添加loki 或 ip ：3100

       nginx代理使用stream或者location

三、k8s方式安装