在K8S中，如何收集k8s集群日志？

在 Kubernetes (K8S) 集群中收集日志通常涉及到几个层面：容器日志、Kubernetes 组件日志（如 kubelet、kube-apiserver 等）、以及系统日志。下面是一些常用的方法和工具来实现这些目标：

1. 使用 kubectl 命令获取容器日志

可以通过 kubectl logs 命令直接从 Pod 中获取容器日志：

kubectl logs <pod-name> -n <namespace>

如果需要查看某个特定容器的日志，可以指定容器名称：

kubectl logs <pod-name> <container-name> -n <namespace>

2. 使用 Fluentd 或其他日志代理

Kubernetes 社区推荐使用 Fluentd 作为日志代理。Fluentd 可以将日志发送到各种目的地，比如 Elasticsearch、Logstash、Fluentd (EFF)、Kafka 等。

安装 Fluentd:

你可以通过 Helm 或 YAML 文件安装 Fluentd：

helm install fluentd stable/fluentd

配置 Fluentd:

配置文件 (fluentd-config.yaml) 用于定义数据源、过滤器和输出目的地：

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
data:
  fluent.conf: |
    <source>
      @type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd_tail_pos.log
      time_format %Y-%m-%dT%H:%M:%S.%NZ
      tag kubernetes.*
      read_from_head true
    </source>

    <match kubernetes.*>
      @type forward
    </match>

3. 使用 Kubernetes Event API

Kubernetes 的事件 API 可以记录重要事件，例如 Pod 启动失败等。可以使用 kubectl get events 或者 kubectl describe pod <pod-name> 查看这些事件。

4. 使用 Kubernetes 控制平面组件日志

对于 Kubernetes 控制面组件的日志，例如 kube-apiserver, kube-scheduler 和 kube-controller-manager，你可以在每个组件的运行节点上找到它们的日志文件。通常这些组件会配置成将日志写入标准输出或标准错误流，然后被重定向到日志文件。

5. 使用监控和可视化工具

对于更高级的日志管理和分析，可以考虑使用 ELK Stack (Elasticsearch, Logstash, Kibana)，Prometheus + Grafana，或者商业解决方案如 Splunk、Sumo Logic 等。

ELK Stack 示例:

1. 部署 Elasticsearch 和 Logstash: 接收和存储日志。
2. 部署 Kibana: 提供图形界面来搜索和分析日志。
3. 配置 Logstash: 从 Fluentd 接收数据并转发给 Elasticsearch。

6. 使用第三方服务

还可以选择使用像 Datadog、New Relic 这样的第三方服务来集中管理 Kubernetes 日志。

综上所述，你可以根据实际需求选择合适的方式来收集和管理 Kubernetes 集群中的日志。