Lire un HEALTH_WARN Ceph

Un cluster Ceph passe en HEALTH_WARN pour des raisons qui vont du bénin au critique, et rien dans la couleur du voyant ne permet de les distinguer. Un rééquilibrage normal produit le même avertissement qu'un pool qui va bientôt bloquer les écritures. Cette page sert à faire ce tri, et à savoir quand attendre plutôt qu'agir.

Le fonctionnement général de Ceph et son installation sont traités au chapitre stockage du guide cluster. Ici, on part du principe que la plateforme existe et qu'elle vient de passer au jaune.

01Lire l'état correctement

La commande d'état générale résume, elle n'explique pas. C'est le détail qu'il faut demander, et c'est la première chose à faire avant toute hypothèse.

# le resume : etat, services, donnees, activite en cours
ceph -s

# le detail : un code et une explication par probleme
ceph health detail

Chaque problème porte un code en majuscules, par exemple PG_DEGRADED ou OSD_NEARFULL. Ce code est la clé : il se cherche, il se documente, et il permet de construire une alerte précise plutôt qu'une alerte sur la couleur générale.

ceph osd tree          # topologie, OSD en panne ou sortis
ceph osd df            # remplissage et equilibre par OSD
ceph df                # espace par pool, espace reellement disponible
ceph osd perf          # latences, le signal precoce d'un disque fatigue
ceph pg stat           # etat global des groupes de placement
ceph crash ls          # incidents de demons recemment enregistres

02Les messages courants, traduits

03Comprendre les états de groupes de placement

Un groupe de placement est un lot de données que Ceph déplace et répare comme un tout. Son état se lit comme une addition de qualificatifs : active+clean est l'état nominal, et tout le reste décrit ce qui manque ou ce qui est en cours.

# repartition par etat
ceph pg stat
ceph pg dump pgs_brief | awk '{print $2}' | sort | uniq -c | sort -rn

# les groupes reellement bloques
ceph pg dump_stuck inactive
ceph pg dump_stuck stale
ceph pg dump_stuck undersized

04Ce qui se règle tout seul

La majorité des avertissements disparaissent sans intervention. Les reconnaître évite de déclencher une manoeuvre inutile qui, elle, peut faire des dégâts.

• Un rééquilibrage après ajout ou retrait d'un disque. Les compteurs de groupes dégradés baissent régulièrement : il n'y a rien à faire qu'attendre.
• Un redémarrage de noeud planifié, drapeau noout posé. L'état jaune est attendu, et il revient au vert au retour du noeud.
• Un retard de vérification après plusieurs jours d'activité intense : la fenêtre de nettoyage n'a pas suffi, elle rattrapera.
• Un ajustement du nombre de groupes de placement déclenché par la croissance du pool.

# le nombre d'objets degrades doit diminuer de minute en minute
watch -n 30 'ceph -s | grep -E "degraded|misplaced|recovery"'

05Remplissage et seuils

Ceph protège les données en refusant d'écrire plutôt qu'en risquant une perte. Les seuils de remplissage ne sont donc pas des alertes de confort : ce sont les paliers qui conduisent à l'arrêt du service.

# espace par pool et espace reellement disponible
ceph df

# ecart de remplissage entre OSD : au-dela de 15 points, CRUSH est desequilibre
ceph osd df | sort -k17 -n

# reequilibrage automatique, souvent la bonne reponse
ceph balancer status
ceph balancer mode upmap
ceph balancer on

Si l'espace manque réellement, les seules sorties sont d'ajouter des OSD, de supprimer des données, ou de réduire la rétention des sauvegardes hébergées sur le pool. Relever les seuils ne fait que repousser le mur de quelques jours, et c'est une très mauvaise idée.

06Erreurs de cohérence et réparation

Une erreur de cohérence signifie que les copies d'un même groupe ne concordent pas. Ceph l'a détectée pendant une vérification approfondie, ce qui est précisément à quoi sert cette vérification.

# quels groupes sont concernes
ceph health detail | grep -i inconsistent
rados list-inconsistent-pg vm-data

# le detail des objets en cause
rados list-inconsistent-obj 2.1a --format=json-pretty

ceph pg repair 2.1a
ceph -w

# verifier l'etat du disque suspect, sur le noeud concerne
smartctl -a /dev/nvme2n1
dmesg -T | grep -iE 'error|medium|reset'

Si les erreurs reviennent sur le même OSD, le disque est à remplacer : la procédure est détaillée dans la page remplacer un disque défaillant.

07Ce qui exige une action immédiate

08Liste de contrôle