Motor de tabla FileLog

• Suscribirse a archivos de registro.
• Procesar nuevos registros a medida que se añaden a los archivos de registro a los que se haya suscrito.

​

Crear una table

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = FileLog('path_to_logs', 'format_name') SETTINGS
    [poll_timeout_ms = 0,]
    [poll_max_batch_size = 0,]
    [max_block_size = 0,]
    [max_threads = 0,]
    [poll_directory_watch_events_backoff_init = 500,]
    [poll_directory_watch_events_backoff_max = 32000,]
    [poll_directory_watch_events_backoff_factor = 2,]
    [handle_error_mode = 'default']

• path_to_logs – Ruta de los archivos de registro a los que suscribirse. Puede ser la ruta a un directorio con archivos de registro o a un único archivo de registro. Una ruta relativa se resuelve con respecto al directorio user_files_path, como en la función de table file; una ruta relativa que ya apunta a una ubicación dentro de user_files_path desde el directorio de trabajo del servidor (por ejemplo, user_files/my_app/app.log cuando el servidor se ejecuta en su directorio de datos, como en la imagen oficial de Docker) conserva ese significado. El nombre de archivo en la ruta puede contener globs (*, ?, {abc,def}, {N..M}) para leer solo los archivos coincidentes del directorio; consulte Selección de archivos con globs. Tenga en cuenta que ClickHouse solo permite rutas dentro del directorio user_files.
• format_name - Formato del registro. Tenga en cuenta que FileLog procesa cada línea de un archivo como un registro independiente y que no todos los formatos de datos son adecuados para ello.

• poll_timeout_ms - Tiempo de espera para una sola operación de sondeo del archivo de registro. Predeterminado: stream_poll_timeout_ms.
• poll_max_batch_size — Número máximo de registros que se pueden sondear en una sola operación. Predeterminado: max_block_size.
• max_block_size — Tamaño máximo del lote (en registros) para el sondeo. Predeterminado: max_insert_block_size.
• max_threads - Número máximo de hilos para analizar archivos; el valor predeterminado es 0, lo que significa que el número será max(1, physical_cpu_cores / 4).
• poll_directory_watch_events_backoff_init - Valor de espera inicial para el hilo de supervisión del directorio. Predeterminado: 500.
• poll_directory_watch_events_backoff_max - Valor de espera máximo para el hilo de supervisión del directorio. Predeterminado: 32000.
• poll_directory_watch_events_backoff_factor - Velocidad del backoff; de forma predeterminada, es exponencial. Predeterminado: 2.
• handle_error_mode — Cómo gestionar los errores del motor FileLog. Valores posibles: default (un SELECT directo lanza una excepción si no se puede analizar un registro; cuando la table envía datos en streaming a vistas materializadas, ese registro se omite y el error se escribe en el log del servidor), stream (el mensaje de excepción y el registro sin procesar se guardarán en las columnas virtuales _error y _raw_record).

​

Descripción

1. Use el motor para crear una table FileLog y considérela un flujo de datos.
2. Cree una table con la estructura deseada.
3. Cree una vista materializada que convierta los datos del motor y los inserte en una table creada previamente.

CREATE TABLE logs (
    timestamp UInt64,
    level String,
    message String
  ) ENGINE = FileLog('my_app/app.log', 'JSONEachRow');

CREATE TABLE daily (
    day Date,
    level String,
    total UInt64
  ) ENGINE = SummingMergeTree
  PARTITION BY toYYYYMM(day)
  ORDER BY (day, level);

CREATE MATERIALIZED VIEW consumer TO daily
    AS SELECT toDate(toDateTime(timestamp)) AS day, level, count() AS total
    FROM logs GROUP BY day, level;

SELECT level, sum(total) FROM daily GROUP BY level;

DETACH TABLE consumer;
ATTACH TABLE consumer;

​

Selección de archivos con globs

app.log         the file the application writes
app.log.1       the previous file, renamed by logrotate, compressed on the next rotation
app.log.2.gz    older files, compressed

​

Columnas virtuales

• _filename - Nombre del archivo de registro. Tipo de dato: LowCardinality(String).
• _offset - Desplazamiento en el archivo de registro. Tipo de dato: UInt64.

• _raw_record - Registro sin procesar que no pudo analizarse correctamente. Tipo de dato: Nullable(String).
• _error - Mensaje de excepción que se produjo durante un análisis fallido. Tipo de dato: Nullable(String).

​

Durabilidad de los datos