Moteur de table FileLog

• Vous abonner à des fichiers de log.
• Traiter les nouveaux enregistrements à mesure qu’ils sont ajoutés aux fichiers de log suivis.

​

Créer une table

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = FileLog('path_to_logs', 'format_name') SETTINGS
    [poll_timeout_ms = 0,]
    [poll_max_batch_size = 0,]
    [max_block_size = 0,]
    [max_threads = 0,]
    [poll_directory_watch_events_backoff_init = 500,]
    [poll_directory_watch_events_backoff_max = 32000,]
    [poll_directory_watch_events_backoff_factor = 2,]
    [handle_error_mode = 'default']

• path_to_logs – Chemin des fichiers de log à suivre. Il peut s’agir du chemin vers un répertoire contenant des fichiers de log ou vers un seul fichier de log. Un chemin relatif est résolu par rapport au répertoire user_files_path, comme pour la fonction de table file ; un chemin relatif qui pointe déjà vers user_files_path depuis le répertoire de travail du serveur (par exemple, user_files/my_app/app.log lorsque le serveur s’exécute dans son répertoire de données, comme dans l’image Docker officielle) reste interprété de la même manière. Le nom du fichier dans le chemin peut contenir des motifs glob (*, ?, {abc,def}, {N..M}) pour ne lire que les fichiers du répertoire correspondant à ces motifs. Voir Sélectionner des fichiers avec des motifs glob. Notez que ClickHouse n’autorise que les chemins situés dans le répertoire user_files.
• format_name - Format de l’enregistrement. Notez que FileLog traite chaque ligne d’un fichier comme un enregistrement distinct et que tous les formats de données ne s’y prêtent pas.

• poll_timeout_ms - Délai d’expiration d’une opération de poll unique sur le fichier de log. Par défaut : stream_poll_timeout_ms.
• poll_max_batch_size — Nombre maximal d’enregistrements récupérés lors d’une seule opération de poll. Par défaut : max_block_size.
• max_block_size — Taille maximale du lot (en enregistrements) pour le poll. Par défaut : max_insert_block_size.
• max_threads - Nombre maximal de threads pour analyser les fichiers. La valeur par défaut est 0, ce qui signifie que ce nombre sera égal à max(1, physical_cpu_cores / 4).
• poll_directory_watch_events_backoff_init - Temporisation initiale du thread de surveillance du répertoire. Par défaut : 500.
• poll_directory_watch_events_backoff_max - Temporisation maximale du thread de surveillance du répertoire. Par défaut : 32000.
• poll_directory_watch_events_backoff_factor - Vitesse du backoff, exponentielle par défaut. Par défaut : 2.
• handle_error_mode — Mode de gestion des erreurs du moteur FileLog. Valeurs possibles : default (un SELECT direct lève une exception si l’analyse d’un enregistrement échoue ; lorsque la table alimente des vues matérialisées en flux, cet enregistrement est ignoré et l’erreur est consignée dans le journal du serveur), stream (le message d’exception et l’enregistrement brut seront enregistrés dans les colonnes virtuelles _error et _raw_record).

​

Description

1. Utilisez le moteur pour créer une table FileLog et considérez-la comme un flux de données.
2. Créez une table avec la structure souhaitée.
3. Créez une vue matérialisée qui convertit les données du moteur et les insère dans une table créée précédemment.

CREATE TABLE logs (
    timestamp UInt64,
    level String,
    message String
  ) ENGINE = FileLog('my_app/app.log', 'JSONEachRow');

CREATE TABLE daily (
    day Date,
    level String,
    total UInt64
  ) ENGINE = SummingMergeTree
  PARTITION BY toYYYYMM(day)
  ORDER BY (day, level);

CREATE MATERIALIZED VIEW consumer TO daily
    AS SELECT toDate(toDateTime(timestamp)) AS day, level, count() AS total
    FROM logs GROUP BY day, level;

SELECT level, sum(total) FROM daily GROUP BY level;

DETACH TABLE consumer;
ATTACH TABLE consumer;

​

Sélectionner des fichiers avec des motifs glob

app.log         the file the application writes
app.log.1       the previous file, renamed by logrotate, compressed on the next rotation
app.log.2.gz    older files, compressed

​

Colonnes virtuelles

• _filename - Nom du fichier de log. Type de données : LowCardinality(String).
• _offset - Décalage dans le fichier de log. Type de données : UInt64.

• _raw_record - Enregistrement brut qui n’a pas pu être analysé correctement. Type de données : Nullable(String).
• _error - Message d’exception survenu lors d’une erreur d’analyse. Type de données : Nullable(String).

​

Durabilité des données