Ordonnancement des workloads

​

Ressources

CREATE RESOURCE cpu (MASTER THREAD, WORKER THREAD)

CREATE RESOURCE memory (MEMORY RESERVATION)

CREATE RESOURCE query (QUERY)

CREATE RESOURCE resource_name (WRITE DISK disk_name, READ DISK disk_name)
-- or
CREATE RESOURCE read_resource_name (READ DISK read_disk_name)
CREATE RESOURCE write_resource_name (WRITE DISK write_disk_name)

CREATE RESOURCE all_io (READ ANY DISK, WRITE ANY DISK);

• Ressources partagées dans le temps (CPU, IO, slots de requête) - gèrent les requêtes de ressources mises en file d’attente aux feuilles de la hiérarchie d’ordonnancement. Les requêtes sont ordonnancées selon les politiques et les contraintes définies par la hiérarchie. Les requêtes de ressources sont créées lorsqu’une requête accède à la ressource correspondante. Par exemple, lorsqu’une requête lit des données sur le disque ou utilise le CPU pour le traitement, des requêtes de ressources sont créées pour chaque quantum de travail effectué ou pour chaque quantité d’octets envoyés ou reçus via un socket.
• Ressources partagées dans l’espace (Memory) - gèrent les allocations de ressources aux feuilles de la hiérarchie d’ordonnancement. Les allocations peuvent être actives ou en attente. Les allocations en attente sont bloquées jusqu’à ce que suffisamment d’espace soit libéré ou qu’une autre allocation soit évincée (interrompue de force). Les décisions sont fondées sur les limites et les politiques définies par la hiérarchie. Il existe une correspondance un à un entre les allocations et les requêtes (ou les activités en arrière-plan). Une allocation est créée lorsqu’une requête commence son exécution et elle est libérée lorsqu’elle se termine. Les allocations en cours d’exécution peuvent augmenter ou diminuer leur taille de manière dynamique.

​

Hiérarchie des charges de travail

CREATE RESOURCE cpu (MASTER THREAD, WORKER THREAD)
CREATE RESOURCE memory (MEMORY RESERVATION)
CREATE RESOURCE s3_read (READ DISK s3)
CREATE RESOURCE s3_write (WRITE DISK s3)
CREATE WORKLOAD all SETTINGS max_concurrent_threads_ratio_to_cores = 2, max_memory_ratio = 0.8, max_bytes_per_second = '2Gi'
CREATE WORKLOAD user IN all SETTINGS weight = 9
CREATE WORKLOAD system IN all
CREATE WORKLOAD development IN user
CREATE WORKLOAD production IN user SETTINGS weight = 3

• priority - (partagé dans le temps uniquement) les charges de travail sœurs sont servies selon des valeurs statiques (une valeur plus faible signifie une priorité plus élevée). Détermine la préemption.
• precedence - (partagé dans l’espace uniquement) les charges de travail sœurs sont admises selon des valeurs statiques (une valeur plus faible signifie une préséance plus élevée). Détermine l’éviction et l’admission.
• weight - les charges de travail sœurs ayant la même priorité statique ou la même préséance se partagent les ressources en fonction de leurs poids, de manière équitable. Affecte la préemption, l’éviction et l’admission.
• max_io_requests - la limite du nombre de requêtes d’IO concurrentes dans cette charge de travail.
• max_bytes_inflight - la limite du nombre total d’octets en cours de traitement pour les requêtes concurrentes dans cette charge de travail.
• max_bytes_per_second - la limite du débit en octets en lecture ou en écriture de cette charge de travail.
• max_burst_bytes - le nombre maximal d’octets pouvant être traités par la charge de travail sans être bridée (pour chaque ressource indépendamment).
• max_concurrent_threads - la limite du nombre de threads pour les requêtes dans cette charge de travail.
• max_concurrent_threads_ratio_to_cores - identique à max_concurrent_threads, mais normalisé par rapport au nombre de cœurs CPU disponibles.
• max_cpus - la limite du nombre de cœurs CPU pour servir les requêtes dans cette charge de travail.
• max_cpu_share - identique à max_cpus, mais normalisé par rapport au nombre de cœurs CPU disponibles.
• max_burst_cpu_seconds - le nombre maximal de secondes CPU pouvant être consommées par la charge de travail sans être bridée en raison de max_cpus.
• scheduler - (partagé dans le temps uniquement) l’algorithme d’ordonnancement appliqué aux requêtes de cette charge de travail : fifo (par défaut, premier arrivé, premier servi), fair (mise en file d’attente équitable pondérée), las (least-attained-service) ou priority (ordre strict selon le paramètre de requête workload_priority). Consultez Ordonnancement tenant compte des requêtes.
• max_memory - la limite de la mémoire totale réservée à cette charge de travail.

CREATE OR REPLACE WORKLOAD all SETTINGS max_io_requests = 100, max_bytes_per_second = '1Mi' FOR network_read, max_bytes_per_second = '2Mi' FOR network_write

​

Marquage des workloads

SELECT count() FROM my_table WHERE value = 42 SETTINGS workload = 'production'
SELECT count() FROM my_table WHERE value = 13 SETTINGS workload = 'development'

​

Ordonnancement du CPU

CREATE RESOURCE cpu (MASTER THREAD, WORKER THREAD)
CREATE WORKLOAD all SETTINGS max_concurrent_threads = 100

• Master thread — le premier thread qui commence à travailler sur une requête ou une activité en arrière-plan comme une merge ou une mutation.
• Worker thread — les threads supplémentaires que le master peut créer pour travailler sur des tâches gourmandes en CPU.

CREATE RESOURCE worker_cpu (WORKER THREAD)
CREATE RESOURCE master_cpu (MASTER THREAD)
CREATE WORKLOAD all SETTINGS max_concurrent_threads = 100 FOR worker_cpu, max_concurrent_threads = 1000 FOR master_cpu

CREATE RESOURCE cpu (MASTER THREAD, WORKER THREAD)
CREATE WORKLOAD all
CREATE WORKLOAD admin IN all SETTINGS max_concurrent_threads = 10
CREATE WORKLOAD production IN all SETTINGS max_concurrent_threads = 100
CREATE WORKLOAD analytics IN production SETTINGS max_concurrent_threads = 60, weight = 9
CREATE WORKLOAD ingestion IN production

​

Ordonnancement tenant compte des requêtes

CREATE WORKLOAD all SETTINGS scheduler = 'fair'

• fifo (par défaut) — premier arrivé, premier servi, ce qui préserve le comportement historique. Ce mode exclut toute famine, mais n’offre aucune équité et ignore weight ainsi que les paramètres par requête associés.
• fair — mise en file d’attente équitable pondérée : chaque requête reçoit une part de la ressource proportionnelle à son weight (un paramètre de requête, 1 par défaut), et aucune requête n’est privée de ressources.
• las — least-attained-service : la requête ayant consommé le moins de cette ressource jusqu’à présent est servie en premier (avec un regroupement par niveaux, de sorte qu’une requête descend d’un niveau chaque fois que sa consommation double). Ce mode minimise la latence des requêtes courtes dans les charges de travail mixtes, mais une requête de longue durée peut être privée de ressources par un flux continu de requêtes courtes. Privilégiez fair lorsqu’une garantie d’absence de famine est requise.
• priority — priorité stricte selon le paramètre workload_priority de la requête (un Int64 ; plus la valeur est faible, plus la priorité est élevée). Les requêtes sont servies par ordre de priorité, en FIFO à priorité égale. La valeur par défaut 0 sert de référence neutre ; une valeur négative fait passer une requête au-dessus de la priorité par défaut, une valeur positive la fait passer en dessous. Comme tout mécanisme à priorité stricte, ce mode peut priver de ressources les requêtes de faible priorité.

-- Enable fair scheduling for the workload (once):
CREATE OR REPLACE WORKLOAD all SETTINGS scheduler = 'fair';

-- Then, per query: keep full weight until it burns 10 CPU-seconds, after which it is de-prioritised.
SELECT ... SETTINGS workload = 'all', weight_lowering_cpu_seconds = 10, weight_lowering_factor = 0.1;

​

Threads vs. CPU

• Limite du nombre de threads : max_concurrent_threads et max_concurrent_threads_ratio_to_cores
• Bridage du CPU : max_cpus, max_cpu_share et max_burst_cpu_seconds

• Running: consomme effectivement des ressources CPU. Le temps passé dans cet état est pris en compte par le bridage du CPU.
• Ready: attend qu’un CPU devienne disponible. Le temps passé dans cet état n’est pas pris en compte par le bridage du CPU.
• Blocked: effectue des opérations d’IO ou d’autres appels système bloquants (par exemple, en attente d’un mutex). Le temps passé dans cet état n’est pas pris en compte par le bridage du CPU.

CREATE RESOURCE cpu (MASTER THREAD, WORKER THREAD)
CREATE WORKLOAD all SETTINGS max_concurrent_threads_ratio_to_cores = 2
CREATE WORKLOAD admin IN all SETTINGS max_concurrent_threads = 2, priority = -1
CREATE WORKLOAD production IN all SETTINGS weight = 4
CREATE WORKLOAD analytics IN production SETTINGS max_cpu_share = 0.7, weight = 3
CREATE WORKLOAD ingestion IN production
CREATE WORKLOAD development IN all SETTINGS max_cpu_share = 0.3

​

Réservations de mémoire

CREATE RESOURCE memory (MEMORY RESERVATION)
CREATE WORKLOAD all SETTINGS max_memory = '2Gi'

• Une allocation en attente ne peut pas évincer des allocations en cours dans le même workload. (Les workloads du killer et de la victime coïncident).
• Une allocation en attente de préséance plus faible ne tue jamais un workload de préséance plus élevée.
• Une allocation en attente ne peut pas tuer une allocation de même préséance. Notez que des allocations en cours de même préséance peuvent s’évincer mutuellement en fonction de l’utilisation mémoire normalisée. Si l’éviction est empêchée ou ne libère pas assez de mémoire, la nouvelle allocation est bloquée jusqu’à ce qu’une quantité suffisante de mémoire soit libérée. Ces règles permettent la mise en file d’attente des requêtes excessives en fonction de la pression mémoire et offrent un moyen pratique d’éviter les erreurs MEMORY_LIMIT_EXCEEDED.

CREATE RESOURCE memory (MEMORY RESERVATION)
CREATE WORKLOAD all SETTINGS max_memory = '10Gi'
CREATE WORKLOAD system IN all SETTINGS weight = 1
CREATE WORKLOAD user IN all SETTINGS weight = 9
CREATE WORKLOAD production IN user SETTINGS precedence = 1, weight = 3
CREATE WORKLOAD staging IN user SETTINGS precedence = 1, weight = 1
CREATE WORKLOAD testing IN user SETTINGS precedence = 2

​

Ordonnancement des slots de requête

CREATE RESOURCE query (QUERY)
CREATE WORKLOAD all SETTINGS max_concurrent_queries = 100, max_queries_per_second = 10, max_burst_queries = 20

​

Stockage des workloads et des ressources

​

Charges de travail et ressources définies par configuration

​

Format de la configuration

<clickhouse>
    <resources_and_workloads>
        CREATE RESOURCE memory (MEMORY RESERVATION);
        CREATE RESOURCE s3disk_read (READ DISK s3);
        CREATE RESOURCE s3disk_write (WRITE DISK s3);
        CREATE WORKLOAD all SETTINGS max_memory = '2Gi', max_io_requests = 500 FOR s3disk_read, max_io_requests = 1000 FOR s3disk_write, max_bytes_per_second = '1280Mi' FOR s3disk_read, max_bytes_per_second = '3200Mi' FOR s3disk_write;
        CREATE WORKLOAD production IN all SETTINGS weight = 3;
    </resources_and_workloads>
</clickhouse>

​

Recommandations d’utilisation

1. Définir le workload racine et les ressources d’E/S réseau dans la configuration afin de fixer les limites de l’infrastructure
2. Définir throw_on_unknown_workload pour faire respecter ces limites
3. Créer un CREATE WORKLOAD default IN all pour appliquer automatiquement les limites à toutes les requêtes (puisque la valeur par défaut du paramètre de requête workload est ‘default’)
4. Autoriser les utilisateurs à créer des workloads supplémentaires dans la hiérarchie configurée

​

Accès strict aux ressources

​

Hiérarchie des nœuds d’ordonnancement

CREATE RESOURCE network_write (WRITE DISK s3)
CREATE RESOURCE memory (MEMORY RESERVATION)
CREATE WORKLOAD all SETTINGS max_io_requests = 100, max_memory = '2Gi'
CREATE WORKLOAD development IN all
CREATE WORKLOAD production IN all SETTINGS weight = 3

• inflight_limit (contrainte) - bloque si le nombre de requêtes simultanément en vol dépasse max_requests, ou si leur coût total dépasse max_cost ; doit avoir un seul enfant.
• bandwidth_limit (contrainte) - bloque si le débit actuel dépasse max_speed (0 signifie illimité) ou si la rafale dépasse max_burst (par défaut, égal à max_speed) ; doit avoir un seul enfant.
• fair (politique) - sélectionne la prochaine requête à traiter dans l’un de ses nœuds enfants selon l’équité max-min ; les nœuds enfants peuvent spécifier weight (la valeur par défaut est 1).
• priority (politique) - sélectionne la prochaine requête à traiter dans l’un de ses nœuds enfants selon des priorités statiques (une valeur plus faible signifie une priorité plus élevée) ; les nœuds enfants doivent spécifier priority (la valeur par défaut est 0).
• queue - feuille de la hiérarchie capable de contenir des requêtes qui dépassent la capacité des ressources.

• limit - garantit que l’allocation totale de l’enfant ne dépasse jamais une limite et déclenche, si nécessaire, une procédure d’éviction dans un sous-arbre ; doit avoir un seul enfant.
• fair_allocation - applique l’éviction selon l’équité max-min ; une allocation en attente n’évince jamais une allocation en cours d’exécution ; les nœuds enfants peuvent spécifier weight (la valeur par défaut est 1).
• precedence_allocation - applique l’éviction selon une préséance statique (une valeur plus faible signifie une préséance plus élevée) ; une allocation en attente de préséance plus élevée évince les allocations de préséance plus faible ; les nœuds enfants doivent spécifier precedence (la valeur par défaut est 0).
• queue - feuille de la hiérarchie capable de contenir des allocations en cours d’exécution et en attente.

​

Sauvegarde et restauration

BACKUP TABLE system.workloads, TABLE system.resources TO Disk('backups', 'wl_backup');

RESTORE TABLE system.workloads, TABLE system.resources FROM Disk('backups', 'wl_backup');

BACKUP TABLE system.workloads, TABLE system.resources ON CLUSTER '{cluster}' TO S3('https://...', 'key', 'secret');
RESTORE TABLE system.workloads, TABLE system.resources ON CLUSTER '{cluster}' FROM S3('https://...', 'key', 'secret');

• if not exists (valeur par défaut) — conserver une entité existante telle quelle et créer uniquement celles qui manquent ;
• create — faire échouer la restauration si l’une des entités restaurées existe déjà ;
• replace — écraser une entité existante avec la définition issue du backup (cela requiert en outre le privilège DROP WORKLOAD / DROP RESOURCE). :::

​

Voir aussi

• system.scheduler
• system.workloads
• system.resources
• merge_workload paramètre de MergeTree
• merge_workload paramètre global du serveur
• mutation_workload paramètre de MergeTree
• mutation_workload paramètre global du serveur
• workload_path paramètre global du serveur
• workload_zookeeper_path paramètre global du serveur
• cpu_slot_preemption paramètre global du serveur
• cpu_slot_quantum_ns paramètre global du serveur
• cpu_slot_preemption_timeout_ms paramètre global du serveur