Comment récupérer après un snapshot Keeper corrompu

• Ce que sont les snapshots et où les trouver
• Comment le problème se manifeste
• Les stratégies de récupération possibles et ce que chacune d’elles implique

​

Vue d’ensemble des snapshots de Keeper

​

Qu’est-ce qu’un snapshot ?

​

Où puis-je trouver des snapshots ?

​

Principaux symptômes et manifestations de snapshots Keeper corrompus

​

Récupération après des snapshots Keeper corrompus

1. Arrêter tous les nœuds Keeper pour éviter toute corruption supplémentaire
2. Sauvegarder l’ensemble en copiant l’intégralité du répertoire de coordination dans un emplacement sûr
3. Vérifier le quorum du cluster afin de vous assurer qu’au moins un nœud dispose de données intactes

​

1. Restaurer à partir d’une sauvegarde existante

• La corruption des métadonnées de Keeper ou d’un snapshot rend les données actuelles irrécupérables.
• Une sauvegarde existe avec un état Keeper connu comme sain.

1. Repérez et validez la sauvegarde la plus récente afin de vérifier la cohérence des métadonnées.
2. Arrêtez les services ClickHouse et Keeper.
3. Remplacez les snapshots et les logs défectueux par ceux du répertoire de sauvegarde.
4. Redémarrez le cluster Keeper et vérifiez la synchronisation des métadonnées.

​

2. Revenir à un snapshot plus ancien

• Des snapshots récents sont corrompus, mais d’anciens snapshots restent exploitables.
• Les logs incrémentiels sont intacts, ce qui permet une restauration cohérente.

1. Identifiez et sélectionnez un ancien snapshot valide (par exemple, snapshot.19) dans le répertoire Keeper.
2. Supprimez les snapshots et les logs plus récents.
3. Redémarrez Keeper afin qu’il rejoue les logs pour reconstruire l’état des métadonnées.

​

3. Restaurer les métadonnées à l’aide de SYSTEM RESTORE REPLICA

• les métadonnées de Keeper sont perdues ou corrompues, mais les données de la table existent toujours sur le disque
• les tables sont passées en mode lecture seule en raison de métadonnées ZooKeeper/Keeper manquantes
• vous devez recréer les métadonnées dans Keeper à partir des parties de données disponibles localement

1. Vérifiez que les données de la table existent localement dans le chemin de données de votre clickhouse-server, défini par <path> dans votre configuration. (/var/lib/clickhouse/data/ par défaut)
2. Pour chaque table concernée, exécutez :

SYSTEM RESTART REPLICA [db.]table_name;
SYSTEM RESTORE REPLICA [db.]table_name;

3. Pour une récupération au niveau de la base de données (si vous utilisez le moteur de base de données Replicated) :

SYSTEM RESTORE DATABASE REPLICA db_name;

4. Attendez la fin de la synchronisation :

SYSTEM SYNC REPLICA [db.]table_name;

5. Vérifiez la récupération en vérifiant que system.replicas a is_readonly = 0 et en surveillant system.detached_parts

​

4. Supprimer et recréer les métadonnées de la réplique dans Keeper

• L’erreur se produit sur une seule réplique du cluster et les métadonnées correspondantes dans Keeper sont corrompues ou incohérentes
• Vous rencontrez des erreurs du type “Part XXXXX intersects previous part YYYYY”
• Vous devez réinitialiser complètement les métadonnées d’une réplique dans Keeper tout en conservant les données locales

1. Sur la réplique affectée, détachez la table :

DETACH TABLE [db.]table_name;

2. Supprimez de Keeper les métadonnées de la réplique (à exécuter sur n’importe quelle réplique) :

SYSTEM DROP REPLICA 'replica_name' FROM ZKPATH '/clickhouse/tables/{shard}/table_name';

SELECT zookeeper_path, replica_name FROM system.replicas WHERE table = 'table_name';

3. Réattachez la table (elle sera en mode lecture seule) :

ATTACH TABLE [db.]table_name;

4. Restaurez les métadonnées de la réplique :

SYSTEM RESTORE REPLICA [db.]table_name;

5. Synchronisez-vous avec les autres répliques :

SYSTEM SYNC REPLICA [db.]table_name;

6. Vérifiez system.detached_parts sur toutes les répliques après la récupération

1. Arrêtez le serveur ClickHouse
2. Créez le flag de récupération :

sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data

3. Démarrez le serveur ClickHouse
4. Le serveur supprimera automatiquement le flag et restaurera toutes les tables répliquées
5. Surveillez les logs pour suivre la progression de la restauration

​

5. Reconstruire le cluster Keeper

• Ni snapshots, ni journaux, ni sauvegardes valides ne sont disponibles pour la restauration.
• Vous devez recréer l’intégralité du cluster Keeper et de ses métadonnées.

1. Arrêtez complètement les clusters ClickHouse et Keeper.
2. Réinitialisez chaque nœud Keeper en nettoyant les répertoires de snapshots et de journaux.
3. Initialisez un nœud Keeper comme leader, puis ajoutez progressivement les autres nœuds.
4. Réimportez les métadonnées si elles sont disponibles depuis des enregistrements externes.

​

6. Supprimer les nœuds orphelins du snapshot au démarrage

• Le snapshot présente précisément ce type de corruption structurelle, et
• Aucune sauvegarde valide ni aucun snapshot plus ancien n’est disponible (privilégiez les stratégies 1 et 2 chaque fois qu’elles sont applicables).

<keeper_server>
    <remove_orphaned_nodes_on_startup>true</remove_orphaned_nodes_on_startup>
    <digest_enabled>false</digest_enabled>
</keeper_server>