Elasticsearch（ES）集群中索引状态red如何处理

目录标题

• • • **1. 检查集群状态**
    • **2. 查看索引的详细信息**
    • **3. 排查未分配分片**
    • • 查看未分配分片的详细信息：
    • **4. 检查日志**
    • **5. 常见问题与解决方法**
    • • **(1) 分片所在的节点离线**
      • **(2) 磁盘空间不足**
      • **(3) 分片分配失败**
      • **(4) 主分片丢失**
      • **(5) 分片数量过多**
    • **6. 检查和优化集群配置**
    • **7. 最终检查索引状态**
    • **小结**

Elasticsearch（ES）集群中索引状态为 red 表示该索引中至少有一个主分片不可用（无法分配或丢失），这可能导致数据丢失或服务不可用。以下是排查索引状态为 red 的方法和步骤：

1. 检查集群状态

首先确认整个集群的健康状态：

GET _cluster/health

• 结果解析：
  • status: red：集群中至少有一个主分片不可用。
  • status: yellow：所有主分片可用，但某些副本分片不可用。
  • status: green：所有主分片和副本分片均可用。

2. 查看索引的详细信息

通过以下命令确认哪些索引的状态为 red：

GET _cluster/health?level=indices

或者：

GET _cat/indices?v

• 关注字段：
  • health：索引的健康状态。
  • status：分片的状态。
  • unassigned_shards：未分配的分片数量。

3. 排查未分配分片

查看未分配分片的详细信息：

GET _cat/shards

或者：

GET _cluster/allocation/explain

• 关注点：
  • 分片 shard 的分片编号。
  • 节点 node 是否分配了分片。
  • unassigned_reason 字段，显示未分配的原因：
    • NODE_LEFT：分片所在的节点已离开集群。
    • DISK_SPACE：磁盘空间不足。
    • ALLOCATION_FAILED：分片分配失败。
    • INDEX_CREATED：索引创建时未能分配。

4. 检查日志

检查 Elasticsearch 节点的日志文件，查看错误或警告信息：

tail -f /var/log/elasticsearch/elasticsearch.log

• 常见问题：
  • 磁盘空间不足。
  • 节点断开或不稳定。
  • 分片损坏。

5. 常见问题与解决方法

(1) 分片所在的节点离线

原因：节点宕机或从集群中被移除。

• 解决方法：
  1. 确保节点正常运行并重新加入集群。
  2. 检查节点之间的网络连通性。

(2) 磁盘空间不足

原因：节点磁盘空间使用达到配置的阈值。

• 解决方法：
  1. 删除不需要的旧索引：

     DELETE /index_name
     

  2. 增加磁盘容量或调整磁盘空间限制：

     PUT _cluster/settings
     {
       "transient": {
         "cluster.routing.allocation.disk.watermark.high": "90%",
         "cluster.routing.allocation.disk.watermark.flood_stage": "95%"
       }
     }
     

GET _cluster/settings

(3) 分片分配失败

原因：分片可能已损坏或数据节点负载过高。

• 解决方法：
  1. 重试分片分配：

     POST /_cluster/reroute?retry_failed=true
     

  2. 检查分片是否损坏：

     GET /index_name/_recovery
     

(4) 主分片丢失

原因：某些主分片不可恢复，可能因硬件故障或分片损坏。

• 解决方法：
  1. 强制分配分片（可能会丢失数据）：

     POST _cluster/reroute
     {
       "commands": [
         {
           "allocate_stale_primary": {
             "index": "index_name",
             "shard": 0,
             "node": "node_name",
             "accept_data_loss": true
           }
         }
       ]
     }
     

(5) 分片数量过多

原因：索引分片数量过多，超出节点处理能力。

• 解决方法：
  1. 合并小分片：

     POST /index_name/_forcemerge?max_num_segments=1
     

  2. 优化分片设计，避免过多分片。

6. 检查和优化集群配置

• 检查节点健康：

  GET _cat/nodes?v
  

• 检查分片分配策略：

  GET _cluster/settings
  

确保以下设置合理：

• cluster.routing.allocation.enable：确保分片分配未被禁用。
• cluster.routing.allocation.disk.watermark：调整磁盘水位限制。

7. 最终检查索引状态

完成排查和修复后，重新检查索引状态：

GET _cat/indices?v

或：

GET _cluster/health

目标：索引状态从 red 变为 yellow 或 green。

小结

• 红色状态 通常与节点、磁盘或配置问题相关。
• 使用 ps 和 API 调用结合日志排查问题来源。
• 根据实际问题采取适当措施（例如分片重新分配、扩容节点、删除索引等）。
• 定期监控和优化集群配置，减少故障发生的可能性。