在当今的云计算时代，Kubernetes（k8s）已成为部署和管理应用的主流平台。而在 k8s 环境中，日志管理是至关重要的一环。EFK（Elasticsearch + Fluentd + Kibana）日志系统是一种常见的解决方案，它能够帮助我们收集、存储和分析日志数据，以便及时发现和解决问题。本文将详细介绍如何在 k8s 中搭建 EFK 日志系统，让您的日志管理更加高效。?

一、引言
亲爱的读者们，想象一下您正在驾驶一艘巨大的轮船在海洋中航行。在航行过程中，轮船会产生各种各样的日志，这些日志记录了轮船的运行状态、故障信息等重要数据。如果没有一个有效的日志管理系统，您将很难及时发现和解决潜在的问题，可能会导致轮船出现故障甚至沉没。同样，在 k8s 环境中，应用也会产生大量的日志数据。这些日志数据对于我们了解应用的运行状态、排查故障、优化性能等都非常重要。因此，搭建一个高效的日志管理系统是必不可少的。EFK 日志系统是一种强大的日志管理解决方案，它由 Elasticsearch、Fluentd 和 Kibana 三个组件组成。Elasticsearch 是一个分布式搜索引擎，用于存储和索引日志数据；Fluentd 是一个日志收集器，用于收集应用的日志数据并将其发送到 Elasticsearch 中；Kibana 是一个可视化工具，用于查询和分析 Elasticsearch 中的日志数据。?

二、EFK 日志系统的优势
1. 分布式存储和索引：Elasticsearch 采用分布式架构，可以存储和索引大量的日志数据，并且能够快速查询和分析这些数据。
2. 强大的搜索和分析功能：Kibana 提供了强大的搜索和分析功能，用户可以通过图形界面轻松地查询和分析日志数据，快速定位问题。
3. 实时数据收集：Fluentd 能够实时收集应用的日志数据，并将其发送到 Elasticsearch 中，确保日志数据的及时性。
4. 易于扩展：EFK 日志系统可以很容易地扩展，以满足不断增长的日志数据量和查询需求。?

三、准备工作在开始搭建 EFK 日志系统之前，我们需要做好以下准备工作：
1. 一个运行中的 k8s 集群。
2. 对 k8s 集群有足够的权限，以便能够创建和管理资源。
3. 了解 YAML 格式的基本用法，以便能够编写和修改资源定义文件。

四、安装 Elasticsearch

1. 创建 Elasticsearch 的 Service Accountapi

Version: v1
kind: ServiceAccount
metadata:
  name: elasticsearch

1. 创建 Elasticsearch 的 ClusterRoleapi

Version: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: elasticsearch
rules:
  - apiGroups: [""]
    resources: ["nodes", "pods"]
    verbs: ["get", "watch", "list"]
  - apiGroups: ["elasticsearch.k8s.elastic.co"]
    resources: ["elasticsearches"]
    verbs: ["get", "watch", "list", "create", "update", "delete"]

1. 创建 Elasticsearch 的 ClusterRoleBindingapi

Version: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: elasticsearch
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: elasticsearch
subjects:
  - kind: ServiceAccount
    name: elasticsearch
    namespace: default

1. 创建 Elasticsearch 的 StatefulSetapi

Version: apps/v1
kind: StatefulSet
metadata:
  name: elasticsearch
spec:
  serviceName: elasticsearch
  replicas: 1
  selector:
    matchLabels:
      app: elasticsearch
  template:
    metadata:
      labels:
        app: elasticsearch
    spec:
      containers:
        - name: elasticsearch
          image: docker.elastic.co/elasticsearch/elasticsearch:7.12.0
          resources:
            limits:
              memory: 2Gi
            requests:
              memory: 1Gi
          ports:
            - containerPort: 9200
            - containerPort: 9300
          env:
            - name: "discovery.type"
              value: "single-node"
          volumeMounts:
            - name: elasticsearch-data
              mountPath: /usr/share/elasticsearch/data
      volumes:
        - name: elasticsearch-data
          emptyDir: {}

1. 创建 Elasticsearch 的 Serviceapi

Version: v1
kind: Service
metadata:
  name: elasticsearch
spec:
  selector:
    app: elasticsearch
  ports:
    - port: 9200
      targetPort: 9200

五、安装 Fluentd

1. 创建 Fluentd 的 DaemonSetapi

Version: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
spec:
  selector:
    matchLabels:
      app: fluentd
  template:
    metadata:
      labels:
        app: fluentd
    spec:
      containers:
        - name: fluentd
          image: fluent/fluentd-kubernetes-daemonset:v1.11.4-debian-elasticsearch7-1.0
          resources:
            limits:
              memory: 200Mi
            requests:
              memory: 100Mi
          volumeMounts:
            - name: varlog
              mountPath: /var/log
            - name: fluentd-conf
              mountPath: /fluentd/etc/fluent.conf
              subPath: fluent.conf
      volumes:
        - name: varlog
          hostPath:
            path: /var/log
        - name: fluentd-conf
          configMap:
            name: fluentd-conf

1. 创建 Fluentd 的 ConfigMapapi

Version: v1
kind: ConfigMap
metadata:
  name: fluentd-conf
data:
  fluent.conf: |
    
      type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd-containers.log.pos
      tag kubernetes.*
      read_from_head true
    

    
      type kubernetes_metadata
    

    
      type elasticsearch
      host elasticsearch
      port 9200
      logstash_format true
      index_name fluentd-kubernetes-${YEAR}.${MONTH}.${DAY}
    

六、安装 Kibana

1. 创建 Kibana 的 Deploymentapi

Version: apps/v1
kind: Deployment
metadata:
  name: kibana
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kibana
  template:
    metadata:
      labels:
        app: kibana
    spec:
      containers:
        - name: kibana
          image: docker.elastic.co/kibana/kibana:7.12.0
          resources:
            limits:
              memory: 1Gi
            requests:
              memory: 500Mi
          ports:
            - containerPort: 5601
          env:
            - name: "ELASTICSEARCH_HOSTS"
              value: "http://elasticsearch:9200"

1. 创建 Kibana 的 Serviceapi

Version: v1
kind: Service
metadata:
  name: kibana
spec:
  selector:
    app: kibana
  ports:
    - port: 5601
      targetPort: 5601

七、验证 EFK 日志系统

1. 查看 Elasticsearch、Fluentd 和 Kibana 的 Pod 状态 kubectl get pods -n logging 确保所有 Pod 都处于 Running 状态。

1. 发送一些日志数据 您可以在 k8s 集群中部署一个应用，并查看应用的日志是否被 Fluentd 收集并发送到 Elasticsearch 中。

2. 在 Kibana 中查询和分析日志数据 通过浏览器访问 Kibana 的 Service，您可以在 Kibana 中查询和分析 Elasticsearch 中的日志数据。?

八、实战案例：应用日志监控与分析假设我们有一个电商应用，部署在 k8s 集群中。我们希望使用 EFK 日志系统来监控和分析应用的日志数据，以便及时发现和解决问题。

1. 部署电商应用 在 k8s 集群中部署电商应用，并确保应用的日志输出到 /var/log/containers 目录下。

2. 查看日志数据 在 Kibana 中，您可以使用查询语句来查看电商应用的日志数据。例如，您可以查询所有错误日志：error: *

1. 分析日志数据 您可以使用 Kibana 的分析功能来分析电商应用的日志数据。例如，您可以分析日志数据的分布情况、趋势等。

2. 设置告警规则 您可以在 Kibana 中设置告警规则，当日志数据满足某些条件时，自动发送告警通知。例如，您可以设置当错误日志数量超过一定阈值时，发送告警通知。?

九、高级功能与拓展

1. 数据备份与恢复：您可以定期备份 Elasticsearch 中的数据，以防止数据丢失。如果数据丢失，您可以使用备份数据进行恢复。

2. 性能优化：如果日志数据量较大，您可能需要对 EFK 日志系统进行性能优化。例如，您可以调整 Elasticsearch 的配置、增加 Fluentd 的节点等。

3. 与其他系统集成：EFK 日志系统可以与其他系统集成，例如监控系统、告警系统等。您可以将 EFK 日志系统中的数据与其他系统进行关联，实现更加全面的监控和管理。?

十、总结
通过以上步骤，我们成功地在 k8s 中搭建了 EFK 日志系统。EFK 日志系统能够帮助我们收集、存储和分析日志数据，以便及时发现和解决问题。在实际应用中，您可以根据自己的需求对 EFK 日志系统进行定制和优化，以满足不同的日志管理需求。