Motor de tabela FileLog

• Monitore arquivos de log.
• Processe novos registros à medida que são adicionados aos arquivos de log monitorados.

​

Criando uma tabela

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = FileLog('path_to_logs', 'format_name') SETTINGS
    [poll_timeout_ms = 0,]
    [poll_max_batch_size = 0,]
    [max_block_size = 0,]
    [max_threads = 0,]
    [poll_directory_watch_events_backoff_init = 500,]
    [poll_directory_watch_events_backoff_max = 32000,]
    [poll_directory_watch_events_backoff_factor = 2,]
    [handle_error_mode = 'default']

• path_to_logs – Caminho para os arquivos de log a monitorar. Pode ser o caminho para um diretório com arquivos de log ou para um único arquivo de log. Um caminho relativo é resolvido em relação ao diretório user_files_path, como na função de tabela file; um caminho relativo que já esteja dentro de user_files_path a partir do diretório de trabalho do servidor (por exemplo, user_files/my_app/app.log quando o servidor é executado em seu diretório de dados, como na imagem Docker oficial) mantém esse significado. O nome do arquivo no caminho pode conter globs (*, ?, {abc,def}, {N..M}) para ler apenas os arquivos correspondentes do diretório; consulte Selecionando arquivos com globs. Observe que o ClickHouse permite apenas caminhos dentro do diretório user_files.
• format_name - Formato do registro. Observe que o FileLog processa cada linha de um arquivo como um registro separado, e nem todos os formatos de dados são adequados para isso.

• poll_timeout_ms - Timeout para um único poll do arquivo de log. Padrão: stream_poll_timeout_ms.
• poll_max_batch_size — Quantidade máxima de registros a serem obtidos em um único poll. Padrão: max_block_size.
• max_block_size — Tamanho máximo do lote (em registros) para o poll. Padrão: max_insert_block_size.
• max_threads - Número máximo de threads para interpretar arquivos; o padrão é 0, o que significa que o número será max(1, physical_cpu_cores / 4).
• poll_directory_watch_events_backoff_init - Valor inicial de espera para a thread de monitoramento do diretório. Padrão: 500.
• poll_directory_watch_events_backoff_max - Valor máximo de espera para a thread de monitoramento do diretório. Padrão: 32000.
• poll_directory_watch_events_backoff_factor - Velocidade do backoff, exponencial por padrão. Padrão: 2.
• handle_error_mode — Como tratar erros no motor FileLog. Valores possíveis: default (um SELECT direto lança uma exceção se não for possível interpretar um registro; quando a tabela envia dados em stream para visões materializadas, esse registro é ignorado e o erro é gravado no log do servidor), stream (a mensagem da exceção e o registro bruto serão salvos nas colunas virtuais _error e _raw_record).

​

Descrição

1. Use o motor para criar uma tabela FileLog e trate-a como um fluxo de dados.
2. Crie uma tabela com a estrutura desejada.
3. Crie uma visão materializada que converta os dados do motor e os grave em uma tabela criada anteriormente.

CREATE TABLE logs (
    timestamp UInt64,
    level String,
    message String
  ) ENGINE = FileLog('my_app/app.log', 'JSONEachRow');

CREATE TABLE daily (
    day Date,
    level String,
    total UInt64
  ) ENGINE = SummingMergeTree
  PARTITION BY toYYYYMM(day)
  ORDER BY (day, level);

CREATE MATERIALIZED VIEW consumer TO daily
    AS SELECT toDate(toDateTime(timestamp)) AS day, level, count() AS total
    FROM logs GROUP BY day, level;

SELECT level, sum(total) FROM daily GROUP BY level;

DETACH TABLE consumer;
ATTACH TABLE consumer;

​

Selecionando arquivos com globs

app.log         the file the application writes
app.log.1       the previous file, renamed by logrotate, compressed on the next rotation
app.log.2.gz    older files, compressed

​

Colunas virtuais

• _filename - Nome do arquivo de log. Tipo de dado: LowCardinality(String).
• _offset - Offset no arquivo de log. Tipo de dado: UInt64.

• _raw_record - Registro bruto que não pôde ser processado com sucesso. Tipo de dado: Nullable(String).
• _error - Mensagem da exceção gerada durante a falha de parsing. Tipo de dado: Nullable(String).

​

Durabilidade dos dados