Skip to main content

Descrição

pg_clickhouse é uma extensão do PostgreSQL que permite executar consultas remotamente em bancos de dados do ClickHouse, incluindo um foreign data wrapper. É compatível com o PostgreSQL 14 ou superior e o ClickHouse 23.3 ou superior.

Primeiros passos

A forma mais simples de testar o pg_clickhouse é usar a [imagem Docker], que contém a imagem Docker padrão do PostgreSQL com as extensões pg_clickhouse e [re2][extensão re2]:
Consulte o tutorial para começar a importar tabelas do ClickHouse e delegar consultas ao ClickHouse.

Uso

Política de versionamento

pg_clickhouse segue o [Versionamento Semântico] em suas versões públicas.
  • A versão principal é incrementada para mudanças na API
  • A versão secundária é incrementada para mudanças de SQL compatíveis com versões anteriores
  • A versão de correção é incrementada para mudanças apenas no binário
Depois de instalado, o PostgreSQL acompanha duas variações da versão:
  • A versão da biblioteca (definida por PG_MODULE_MAGIC no PostgreSQL 18 e superiores) inclui a versão semântica completa, visível na saída da função pgch_version() ou da função pg_get_loaded_modules() do Postgres.
  • A versão da extensão (definida no arquivo de controle) inclui apenas as versões principal e secundária, visíveis na tabela pg_catalog.pg_extension, na saída da função pg_available_extension_versions() e em \dx pg_clickhouse.
Na prática, isso significa que uma versão que incrementa a versão de correção, por exemplo, de v0.1.0 para v0.1.1, beneficia todos os bancos de dados que carregaram v0.1 e não precisam executar ALTER EXTENSION para aproveitar a atualização. Já uma versão que incrementa a versão secundária ou principal virá acompanhada de scripts de atualização SQL, e todos os bancos de dados existentes que contêm a extensão deverão executar ALTER EXTENSION pg_clickhouse UPDATE para aproveitar a atualização.

Referência de SQL DDL

As expressões SQL DDL a seguir usam o pg_clickhouse.

CREATE EXTENSION

Use CREATE EXTENSION para adicionar a extensão pg_clickhouse a um banco de dados:
Use WITH SCHEMA para instalá-la em um esquema específico (recomendado):

ALTER EXTENSION

Use ALTER EXTENSION para modificar a extensão pg_clickhouse. Exemplos:
  • Depois de instalar uma nova versão do pg_clickhouse, use a cláusula UPDATE:
  • Use SET SCHEMA para mover a extensão para um novo esquema:

DROP EXTENSION

Use DROP EXTENSION para remover pg_clickhouse de um banco de dados:
Este comando falha se houver objetos que dependam de pg_clickhouse. Use a cláusula CASCADE para removê-los também:

CREATE SERVER

Use CREATE SERVER para criar um servidor externo que se conecta a um servidor ClickHouse. Exemplo:
As opções compatíveis são:
  • driver: O driver de conexão do ClickHouse a ser usado: “binary” ou “http”. Obrigatório.
  • compression: Compressão do protocolo nativo para o driver “binary”, uma entre “none”, “lz4” ou “zstd”. O padrão é “lz4”. Ignorada pelo driver “http”.
  • dbname: O banco de dados do ClickHouse a ser usado na conexão. O padrão é “default”.
  • host: O nome do host do servidor ClickHouse. O padrão é “localhost”;
  • port: A porta à qual se conectar no servidor ClickHouse. Os padrões são os seguintes:
    • 9440 se driver for “binary” e host for um host do ClickHouse Cloud
    • 9004 se driver for “binary” e host não for um host do ClickHouse Cloud
    • 8443 se driver for “http” e host for um host do ClickHouse Cloud
    • 8123 se driver for “http” e host não for um host do ClickHouse Cloud
  • min_tls_version: Versão mínima do protocolo TLS a ser negociada em conexões que usam TLS. Uma entre TLSv1, TLSv1.1, TLSv1.2 ou TLSv1.3. O padrão é o mínimo da própria biblioteca TLS. Aplica-se a ambos os drivers.
  • secure: Controla o uso de TLS na conexão. Uma entre:
    • auto (padrão): usa TLS quando host é um host do ClickHouse Cloud ou port é uma porta segura; caso contrário, plaintext.
    • on (ou true/yes/1): sempre usa TLS. O padrão de port é 8443 (“http”) ou 9440 (“binary”).
    • off (ou false/no/0): nunca usa TLS. O padrão de port é 8123 (“http”) ou 9000 (“binary”).
  • encoding_check: Define como tratar caracteres inválidos segundo a [codificação do banco de dados] ao converter valores String e JSON do ClickHouse. Uma entre:
    • fail (padrão): gera um erro
    • remove remove os bytes inválidos
    • replace: na codificação UTF-8, substitui os bytes inválidos pelo caractere de substituição Unicode (�); equivale a remove nas demais codificações
    • truncate trunca o texto no primeiro byte inválido

ALTER SERVER

Use ALTER SERVER para modificar um servidor externo. Exemplo:
As opções são as mesmas do CREATE SERVER.

DROP SERVER

Use o DROP SERVER para remover um servidor externo:
Esse comando falha se houver quaisquer outros objetos que dependam do servidor. Use CASCADE para também remover essas dependências:

CREATE USER MAPPING

Use CREATE USER MAPPING para mapear um usuário do PostgreSQL a um usuário do ClickHouse. Por exemplo, para mapear o usuário atual do PostgreSQL ao usuário remoto do ClickHouse ao se conectar ao servidor externo taxi_srv:
As opções compatíveis são:
  • user: O nome do usuário do ClickHouse. O valor padrão é “default”.
  • password: A senha do usuário do ClickHouse.

ALTER USER MAPPING

Use ALTER USER MAPPING para alterar a definição de um mapeamento de usuário:
As opções são as mesmas de CREATE USER MAPPING.

DROP USER MAPPING

Use o comando DROP USER MAPPING para remover um mapeamento de usuário:

IMPORT FOREIGN SCHEMA

Use IMPORT FOREIGN SCHEMA para importar todas as tabelas definidas em um banco de dados do ClickHouse como tabelas externas em um esquema do PostgreSQL:
Use LIMIT TO para restringir a importação a tabelas específicas:
Use EXCEPT para excluir tabelas:
pg_clickhouse recuperará uma lista de todas as tabelas no banco de dados ClickHouse especificado (“demo” nos exemplos acima), recuperará as definições das colunas de cada uma e executará comandos CREATE FOREIGN TABLE para criar as tabelas externas. As colunas serão definidas usando os tipos de dados suportados e, quando isso for detectável, as opções suportadas por CREATE FOREIGN TABLE. Alguns pontos a considerar:
  • As colunas importadas mantêm o modificador de tipo do tipo do ClickHouse, inclusive os que estão dentro de Arrays. Ou seja, Array(Decimal(12,6)) é importado como numeric(12,6)[].
  • Colunas Nullable são importadas sem NOT NULL; já Nullable dentro de um Array não tem esse efeito, pois arrays do PostgreSQL sempre permitem elementos NULL.
  • Colunas AggregateFunction e SimpleAggregateFunction são importadas sem NOT NULL, independentemente da declaração no ClickHouse; consulte Colunas de estado e NOT NULL.
  • Colunas Tuple são importadas como text[]. Colunas Map e colunas Nested criadas com flatten_nested=0 são importadas como text[][]. Cada conversão emite um NOTICE. O pseudotipo record do PostgreSQL não pode definir uma coluna de tabela; por isso, cada tupla se torna um array de valores, cada map se torna um array bidimensional de pares chave-valor e cada valor Nested se torna um array bidimensional de linhas. Para ler campos como registros, altere a coluna para um array de um tipo composto correspondente; consulte Mapeamentos manuais de tipos para ver um exemplo.
  • Colunas DateTime64 e Time64 com precisão maior que 6 (microssegundos) também geram um NOTICE, já que o PostgreSQL limita a precisão a timestamp(6) e time(6).
  • Tipos de coluna sem equivalente no PostgreSQL, incluindo o tipo legado Object('json'), anterior ao JSON do ClickHouse, geram um erro.
Preservação de maiúsculas e minúsculas em identificadores importadosIMPORT FOREIGN SCHEMA executa quote_identifier() nos nomes de tabelas e colunas que importa, o que coloca aspas duplas em identificadores com caracteres maiúsculos ou espaços em branco. Portanto, esses nomes de tabelas e colunas devem ser colocados entre aspas duplas em consultas do PostgreSQL. Nomes com apenas letras minúsculas e sem espaços em branco não precisam ser colocados entre aspas.Por exemplo, dada esta tabela do ClickHouse:
IMPORT FOREIGN SCHEMA cria esta tabela externa:
Portanto, as consultas devem usar aspas de forma adequada, por exemplo,
Para criar objetos com nomes diferentes ou totalmente em minúsculas (e, portanto, sem distinção entre maiúsculas e minúsculas), use CREATE FOREIGN TABLE.

CREATE FOREIGN TABLE

Use CREATE FOREIGN TABLE para criar uma tabela externa capaz de consultar dados de um banco de dados do ClickHouse:
As opções de tabela compatíveis são:
  • database: O nome do banco de dados remoto. O padrão é o banco de dados definido para o servidor externo.
  • table_name: O nome da tabela remota. O padrão é o nome especificado para a tabela externa.
  • engine: O [engine da tabela] usado pela tabela ClickHouse. Para CollapsingMergeTree() e AggregatingMergeTree(), o pg_clickhouse aplica automaticamente os parâmetros às expressões de função executadas na tabela.
Use o tipo de dado apropriado para o tipo de dado remoto do ClickHouse de cada coluna. As opções de coluna compatíveis são:
  • column_name: O nome da coluna no lado do ClickHouse, usado em vez do nome do atributo do PostgreSQL ao reconstruir consultas e inserções. Útil para mapear nomes de colunas do PostgreSQL em minúsculas e sem aspas para colunas do ClickHouse sensíveis a maiúsculas e minúsculas, por exemplo:
  • AggregateFunction: O nome da função de agregação aplicada a uma coluna do [tipo AggregateFunction]. Mapeie o tipo de dado para o tipo do ClickHouse passado à função e especifique o nome da função de agregação por meio da opção de coluna apropriada; o pg_clickhouse acrescentará automaticamente Merge à função de agregação usada para avaliar a coluna. Declare a coluna como anulável para evitar os problemas descritos em Colunas de estado e NOT NULL.
  • SimpleAggregateFunction: O nome da função de agregação aplicada a uma coluna do [tipo SimpleAggregateFunction]. Mapeie o tipo de dado para o tipo do ClickHouse passado à função e especifique o nome da função de agregação por meio da opção de coluna apropriada.

Colunas de estado e NOT NULL

Mantenha as colunas AggregateFunction e SimpleAggregateFunction como anuláveis. O PostgreSQL 19 converte count(column) em count(*) para colunas de estado NOT NULL, o que faz com que sejam contadas linhas em vez de mesclados os estados. Considere uma tabela do ClickHouse que armazena um estado count por usuário, sendo cada estado gerado a partir de 1.000 eventos:
Com NOT NULL, o PostgreSQL conta os estados, o que resulta em uma contagem inválida:
Sem NOT NULL, o pg_clickhouse usa countMerge() para mesclar os estados, obtendo a contagem correta de 1000:
Use ALTER FOREIGN TABLE para remover a restrição de uma tabela externa existente:
NOT NULL afeta apenas o PostgreSQL. Por isso, o IMPORT FOREIGN SCHEMA importa as colunas de estado como anuláveis.

ALTER FOREIGN TABLE

Use ALTER FOREIGN TABLE para alterar a definição de uma tabela externa:
As opções de tabela e coluna suportadas são as mesmas do CREATE FOREIGN TABLE.

DROP FOREIGN TABLE

Use DROP FOREIGN TABLE para remover uma tabela externa:
Este comando falha se houver objetos que dependam da tabela externa. Use a cláusula CASCADE para removê-los também:

Referência de SQL DML

As expressões DML em SQL abaixo podem usar pg_clickhouse. Os exemplos dependem destas tabelas do ClickHouse:

EXPLAIN

O comando EXPLAIN funciona como esperado, mas a opção VERBOSE aciona a emissão da consulta “Remote SQL” do ClickHouse:
Esta consulta é repassada ao ClickHouse por meio de um nó de plano “Foreign Scan”, o SQL remoto.

SELECT

Use a instrução SELECT para executar consultas em tabelas pg_clickhouse, assim como em qualquer outra tabela:
pg_clickhouse procura transferir a execução da consulta para o ClickHouse o máximo possível, incluindo funções de agregação. Use EXPLAIN para determinar o nível de pushdown. Para a consulta acima, por exemplo, toda a execução é transferida para o ClickHouse
pg_clickhouse também faz o pushdown de junções para tabelas do mesmo servidor remoto:
Fazer join com uma tabela local gerará consultas menos eficientes sem um ajuste criterioso. Neste exemplo, fazemos uma cópia local da tabela nodes e fazemos join com ela em vez de usar a tabela remota:
Nesse caso, podemos delegar uma parte maior da agregação ao ClickHouse, agrupando por node_id em vez da coluna local e, depois, fazer join com a tabela de lookup:
O nó “Foreign Scan” agora faz o pushdown da agregação por node_id, reduzindo o número de linhas que precisam ser trazidas de volta para o Postgres de 1000 (todas elas) para apenas 8, uma para cada nó.

Tabelas particionadas

Uma [tabela particionada] do PostgreSQL pode combinar partições locais com partições estrangeiras armazenadas no ClickHouse. Uma configuração comum transfere dados mais antigos para o ClickHouse, enquanto os dados mais recentes permanecem no PostgreSQL:
Para ver um exemplo de como mover dados de partições locais para partições estrangeiras, consulte offload-partition.sql. Agregações que abrangem partições locais e estrangeiras exigem a [agregação por partição], que o PostgreSQL desativa por padrão:
Com enable_partitionwise_aggregate ativado, o PostgreSQL calcula uma agregação parcial abaixo de Append, e um agregado de finalização acima combina esses parciais no resultado. O pg_clickhouse envia o parcial da partição estrangeira ao ClickHouse:

Quando agregações parciais são enviadas ao destino

O PostgreSQL representa uma agregação parcial como um estado de transição que a etapa de finalização combina entre as partições. O pg_clickhouse pode enviar a agregação parcial de uma partição ao destino somente quando puder expressá-la como um valor do ClickHouse:
  • Agregações decomponíveis cujo estado de transição já é o valor final são enviadas diretamente ao destino: count, sum, min, max, bool_and/every, bool_or, bit_and, bit_or e bit_xor.
  • avg sobre inteiros envia seu estado {count, sum} como um array.
  • avg, var_pop, var_samp, stddev_pop e stddev_samp sobre ponto flutuante enviam seu estado {N, sum, sum of squared deviations} como um array.
FILTER (WHERE …) é enviado ao destino com essas funções de agregação.

Quando usam uma alternativa

Agregações cujo estado de transição é o tipo opaco internal do PostgreSQL não têm representação portátil; por isso, a partição estrangeira busca suas linhas e as agrega localmente. Isso abrange tudo o que usa numeric, além de avg(bigint) e avg(interval). Agregações DISTINCT, de conjunto ordenado e variádicas também usam uma alternativa.

PREPARE, EXECUTE, DEALLOCATE

A partir da v0.1.2, o pg_clickhouse oferece suporte a consultas parametrizadas, criadas principalmente com o comando PREPARE:
Use EXECUTE normalmente para executar uma instrução preparada:
O pg_clickhouse faz o pushdown das agregações, como de costume, como pode ser visto na saída detalhada de EXPLAIN:
Observe que ele enviou os valores de data completos, e não os placeholders de parâmetro. Isso se aplica às cinco primeiras requisições, como descrito nas notas do PostgreSQL [sobre PREPARE]. Na sexta execução, ele envia os [parâmetros de consulta] no estilo {param:type} do ClickHouse:
Use DEALLOCATE para liberar uma instrução preparada:

INSERT

Use o comando INSERT para inserir valores em uma tabela remota do ClickHouse:

COPY

Use o comando COPY para inserir um lote de linhas em uma tabela remota do ClickHouse:
⚠️ Limitações da API de Batch pg_clickhouse ainda não implementou suporte à API de inserção em lote do FDW do PostgreSQL. Portanto, COPY atualmente usa instruções INSERT para inserir registros. Isso será aprimorado em uma versão futura.

LOAD

Use LOAD para carregar a biblioteca compartilhada pg_clickhouse:
Normalmente, n’ao é necessário usar LOAD, pois o Postgres carregará pg_clickhouse automaticamente na primeira vez em que qualquer um dos seus recursos (funções, foreign tables etc.) for usado. A única situação em que pode ser útil usar LOAD pg_clickhouse é para SET os parâmetros do pg_clickhouse antes de executar consultas que dependam deles.

SET

Use SET para definir os parâmetros personalizados de configuração do pg_clickhouse.

pg_clickhouse.session_settings

O parâmetro pg_clickhouse.session_settings configura as [configurações do ClickHouse] a serem aplicadas às consultas subsequentes. Exemplo:
O padrão é
Defina como uma string vazia para voltar às configurações do servidor ClickHouse — mas observe que a execução correta do pushdown depende de alguns desses valores padrão: join_use_nulls para junções externas e transform_null_in para a família IN (consulte IN e semântica de NULL).
A sintaxe é uma lista de pares chave/valor delimitada por vírgulas, separados por um ou mais espaços. As chaves devem corresponder às [configurações do ClickHouse]. Escape os espaços, as vírgulas e as barras invertidas nos valores com uma barra invertida:
Ou use valores entre aspas simples para não precisar escapar espaços e vírgulas; considere usar dollar quoting para evitar a necessidade de usar aspas duplas:
Se a legibilidade for importante e você precisar definir muitas configurações, use várias linhas, por exemplo:
Algumas configurações serão ignoradas nos casos em que possam interferir na operação do próprio pg_clickhouse. Entre elas estão:
  • date_time_output_format: o driver HTTP exige que seja “iso”
  • format_tsv_null_representation: o driver HTTP exige o valor padrão
  • output_format_tsv_crlf_end_of_line o driver HTTP exige o valor padrão
Fora isso, o pg_clickhouse não valida as configurações, apenas as repassa ao ClickHouse em cada consulta. Assim, ele oferece suporte a todas as configurações de cada versão do ClickHouse. Observe que o pg_clickhouse deve ser carregado antes de definir pg_clickhouse.session_settings; use [pré-carregamento de biblioteca compartilhada] ou simplesmente use um dos objetos da extensão para garantir que ele seja carregado.

pg_clickhouse.pushdown_regex

O parâmetro pg_clickhouse.pushdown_regex controla se o pg_clickhouse faz pushdown de funções e operadores de expressão regular. Isso ocorre por padrão; defina esse parâmetro como false para impedir esse pushdown:
Consulte Expressões regulares para obter mais detalhes.

ALTER ROLE

Use o comando SET de ALTER ROLE’s para pré-carregar o pg_clickhouse e/ou SET seus parâmetros para roles específicos:
Use o comando RESET de ALTER ROLE para redefinir o pré-carregamento do pg_clickhouse e/ou os parâmetros:

Pré-carregamento

Se toda ou quase toda conexão com o Postgres precisar usar o pg_clickhouse, considere usar o [pré-carregamento de biblioteca compartilhada] para carregá-lo automaticamente:

session_preload_libraries

Carrega a biblioteca compartilhada a cada nova conexão com o PostgreSQL:
Útil para aproveitar as atualizações sem reiniciar o servidor: basta se reconectar. Também pode ser configurado para usuários ou roles específicos por meio de ALTER ROLE.

shared_preload_libraries

Carrega a biblioteca compartilhada no processo principal do PostgreSQL durante a inicialização:
Útil para economizar memória e reduzir a sobrecarga em cada sessão, mas exige que o cluster seja reiniciado quando a biblioteca for atualizada.

Tipos de dados

Esta tabela apresenta o mapeamento preferencial dos tipos de dados do ClickHouse para os do PostgreSQL. IMPORT FOREIGN SCHEMA usa esses mapeamentos e deriva os modificadores de tipo e as dimensões de array apropriados. Use CREATE FOREIGN TABLE para declarar tipos alternativos do PostgreSQL. Os destinos de leitura adicionais listam as conversões compatíveis com o driver binary além dos casts explícitos do PostgreSQL. Células vazias continuam permitindo esses casts. Os valores precisam caber nos tipos de destino. Esses destinos se referem a leituras; as gravações seguem regras de conversão próprias. Qualquer coluna também pode ser lida como text, varchar ou outro tipo string. O valor assume o tipo PostgreSQL indicado acima e, em seguida, é renderizado pela função de saída desse tipo. Uma string do ClickHouse lida como tipo texto é validada em relação à codificação do banco de dados; assim, bytes que o PostgreSQL não consegue ler geram um erro. Declare uma coluna String, FixedString, Enum ou JSON como BYTEA para ler seus bytes exatamente como o ClickHouse os gravou. Tipos compatíveis com entrada podem ler strings usando a respectiva função de entrada do PostgreSQL. Tipos compostos devem ter os mesmos campos, na mesma ordem. Para ler uma tupla como array, cada campo deve poder ser convertido para o tipo de elemento do array, e nenhum campo pode ser, ele próprio, um array. Quando lidos como arrays, Map usa uma linha por par chave-valor e Nested usa uma linha por registro aninhado. Para ler uma tupla como box, forneça dois pontos; para circle, forneça um ponto e um raio; para line, forneça três coeficientes. Confira a seguir observações e detalhes adicionais.

Coerção de tipos

Com o driver binary, tipos escalares alternativos usam as conversões explícitas do PostgreSQL quando disponíveis, e os elementos de array são convertidos para o tipo de elemento declarado. Conversões sem suporte e valores fora do intervalo geram erros. Com qualquer um dos drivers, mapeie os tipos Interval do ClickHouse para smallint, integer ou bigint para ler e gravar a quantidade de suas unidades. Por exemplo, um valor IntervalDay igual a 3 é mapeado para o inteiro 3. Mapear IntervalNanosecond para bigint preserva os nanossegundos, enquanto o mapeamento para interval trunca o valor para microssegundos.

BYTEA

O ClickHouse não oferece um equivalente ao tipo BYTEA do PostgreSQL, mas permite que quaisquer bytes sejam armazenados no tipo [String]. Em geral, strings do ClickHouse devem ser mapeadas para o tipo [TEXT] do PostgreSQL, mas ao trabalhar com dados binários, mapeie-as para BYTEA. Exemplo:
Essa consulta SELECT final produzirá:
Uma tabela estrangeira que utilize colunas [TEXT] geralmente não consegue ler esses valores como texto, porque o pg_clickhouse valida os bytes do ClickHouse com base na codificação do banco de dados:
Saída:
Um digest contém bytes arbitrários, que raramente formam texto válido. O PostgreSQL também reserva o caractere nul, de modo que uma coluna [TEXT] nunca consegue ler uma string do ClickHouse que o contenha. A tentativa de inserir valores binários em colunas [TEXT] será bem-sucedida e funcionará conforme esperado:
As colunas de texto estarão corretas:
Mas lê-los como BYTEA não funcionará:
Uma coluna FixedString(N) preenche valores curtos com bytes nulos. Uma coluna de texto descarta esse preenchimento final, enquanto uma coluna BYTEA preserva todos os bytes.
Em geral, use colunas [TEXT] apenas para strings codificadas e colunas BYTEA apenas para dados binários, e nunca alterne entre elas.

Tipos compostos

Array

Os [Array]s do ClickHouse são mapeados diretamente para arrays do PostgreSQL, com semântica equivalente. A principal diferença é que, no Postgres, arrays multidimensionais precisam ter expressões de array com dimensões correspondentes. Tentar ler um array do ClickHouse com dimensões diferentes, como [[1], [2,3]], gera um erro. O acesso por índice de array faz pushdown quando apropriado, inclusive o acesso por índice multidimensional. Exemplos:
Fatiamentos de array também fazem pushdown por meio da função [arraySlice], embora o acesso a fatiamentos multidimensionais ainda não seja compatível:

Map

O PostgreSQL não oferece nenhum tipo correspondente ao tipo [Map] do ClickHouse. Por isso, o pg_clickhouse mapeia colunas [Map] para text[][], em que cada par chave-valor é representado como um array próprio. O IMPORT FOREIGN SCHEMA utiliza esse mapeamento. Também é possível fazer INSERT de maps como arrays. Por exemplo:
Cada array aninhado deve conter exatamente dois valores de texto. Valores incompatíveis com os tipos de chave ou de valor correspondentes no ClickHouse geram um erro.
Inserir um Map requer o driver binary, que obtém os tipos de coluna do servidor ClickHouse. O driver http não faz isso e, por isso, não dispõe das informações necessárias para formatar e inserir o valor adequado.

Tuple

Da mesma forma, colunas [Tuple] do ClickHouse são mapeadas para text[] e aceitam INSERTs por meio do driver binário. IMPORT FOREIGN SCHEMA emite um NOTICE sempre que realiza esse tipo de mapeamento.

Nested

Por padrão, o ClickHouse divide uma coluna Nested em uma coluna Array por campo (flatten_nested=1). O IMPORT FOREIGN SCHEMA lê essas colunas do catálogo system.columns do ClickHouse e cria colunas de array separadas no PostgreSQL, preservando nomes com ponto, como items.a e items.b. Por exemplo, considere esta tabela estrangeira:
O schema importado tem três colunas em vez de duas:
Consulte as colunas aninhadas colocando os nomes das colunas entre aspas duplas, por exemplo:
E filtrar valores em uma cláusula WHERE usando os recursos comuns de arrays, incluindo a sintaxe de subscrito de array:
Uma coluna [Nested] criada com flatten_nested=0 é mapeada para um array com um item para cada linha aninhada. Cada item do array contém os valores dessa linha:
Agora, o schema resultante é:
Monte os registros aninhados em um array bidimensional, com valores de texto formatados de acordo com cada tipo definido pela coluna do ClickHouse. Para c2 Nested(id Int64, name String) neste exemplo, ficaria assim:
No entanto, o pushdown de colunas text[][] para tipos Nested falha:
Isso ocorre porque o pg_clickhouse não consegue distinguir uma coluna de array de texto mapeada para uma coluna de array do ClickHouse de uma mapeada para uma coluna Nested e, portanto, não consegue reescrevê-la na sintaxe Nested do ClickHouse. No entanto, um array de um tipo composto correspondente também pode mapear esses itens (consulte Mapeamentos manuais de tipos para mais detalhes). Nesse caso, o pushdown funciona desde que os nomes dos campos do tipo composto sejam idênticos aos nomes dos campos do Nested:

Mapeamentos manuais de tipos

IMPORT FOREIGN SCHEMA usa tipos genéricos do PostgreSQL. Por exemplo, considere uma tabela do ClickHouse com colunas [Enum], [Tuple], Map e [Nested] não achatadas (flatten_nested = 0), como:
Para preservar a estrutura ou restringir os valores, defina tipos compostos ou enum do PostgreSQL e crie uma tabela estrangeira manualmente:
Sempre use labels de enum e nomes de campos de tipos compostos idênticos aos labels de enum do ClickHouse e aos nomes de campos de Nested ou Tuple, para garantir que o pushdown especifique os nomes corretos.
A ordem e os tipos dos campos compostos devem corresponder às declarações do ClickHouse. As chaves e os valores de [Map] passam a ser o primeiro e o segundo campos, respectivamente (key e value, neste caso). Nested e Map passam a ser arrays de compostos, enquanto Tuple se torna um único valor composto:
Claro que você também pode usar os nomes dos campos do tipo composto, tanto em uma lista SELECT:
E também para tipos [Nested] em uma cláusula WHERE --- desde que os nomes dos campos sejam idênticos:
Ainda não há suporte para INSERT usando esses tipos compostos.

Referência de funções e operadores

Funções

Essas funções fornecem a interface para executar consultas em um banco de dados ClickHouse.

clickhouse_server_version

Informe a versão do servidor ClickHouse, no formato major.minor.patch, para o servidor estrangeiro especificado, conectando-se, se necessário, usando as opções do servidor e o user mapping do usuário atual:
Lê a versão do handshake da conexão do protocolo nativo ou, via HTTP, por meio de uma única consulta SELECT version(), e a armazena em cache durante toda a vida da conexão.

clickhouse_query

Execute uma consulta em um servidor estrangeiro já configurado e retorne suas linhas como uma relação, mapeando cada coluna de resultado do ClickHouse para o tipo PostgreSQL especificado na lista de definição de colunas. A função reutiliza o driver do servidor, as credenciais, o banco de dados e o cache de conexão. O primeiro argumento é o nome de um servidor criado com CREATE SERVER. Uma lista de definição de colunas (AS name(col type, ...)) é obrigatória: o PostgreSQL precisa conhecer a estrutura do resultado antes de buscar as linhas, e ela deve corresponder às colunas retornadas pela consulta. Os valores são convertidos do ClickHouse para os tipos declarados da mesma forma que seriam em uma coluna de tabela estrangeira. Instruções que não retornam resultados, como DDL, não têm nada a declarar; execute-as com clickhouse_perform. Nenhuma role tem acesso EXECUTE por padrão; conceda GRANT a uma role para permitir o uso da função.

clickhouse_perform

Execute uma instrução em um servidor estrangeiro já configurado e descarte qualquer resultado. Use-a para instruções que não retornam linhas, como DDL, para as quais clickhouse_query não tem formato de resultado a declarar. Ela resolve o servidor da mesma forma que clickhouse_query, reutilizando o driver, as credenciais, o banco de dados e o cache de conexão. Por ser um procedimento, deve ser invocada com CALL, e não com SELECT, e não retorna linhas. Nenhuma role tem acesso a EXECUTE por padrão; conceda GRANT a uma role para permitir o uso do procedimento.

Funções com pushdown

pg_clickhouse faz pushdown de um subconjunto das funções nativas do PostgreSQL usadas em condicionais (cláusulas HAVING e WHERE). Esse subconjunto corresponde aos equivalentes no ClickHouse, da seguinte forma:

Operadores de pushdown

  • Fatiamento de Array (arr[L:U]): arraySlice
  • @> (array contém): hasAll
  • <@ (array contido em): hasAll
  • && (sobreposição de arrays): hasAny
  • ~ (correspondência com regexp): match
  • !~ (sem correspondência com regexp): match
  • ~* (regexp sem distinção entre maiúsculas e minúsculas, sem correspondência): match
  • !~* (regexp sem distinção entre maiúsculas e minúsculas, sem correspondência): match
  • ->> (extrai elemento de JSON/JSONB como texto): sintaxe de subcoluna
  • -> (extrai JSON/JSONB): toJSONString + sintaxe de subcoluna

Semântica de IN e NULL

O ClickHouse avalia IN com lógica de dois valores: quando a busca não encontra correspondência, retorna 0, mesmo que haja um NULL envolvido, enquanto o PostgreSQL retorna NULL. Para preservar a semântica do PostgreSQL, o pg_clickhouse faz pushdown incondicionalmente da família IN sobre uma lista ou array constante (IN, NOT IN, = ANY, = ALL, <> ANY, <> ALL): usa a forma nativa ou mais econômica quando consegue provar que nem o valor pesquisado nem um elemento do array podem ser NULL, ou, caso contrário, uma forma CASE com proteções, que verifica valores NULL em tempo de execução e calcula a resposta exata de três valores do PostgreSQL (TRUE, FALSE, NULL) em todos os contextos, inclusive em posições de valor, como em uma lista SELECT ou em GROUP BY. Um filtro NOT IN (SELECT ...) sobre colunas Nullable também recebe pushdown, sendo reconvertido com proteções compensatórias que preservam o comportamento do PostgreSQL: um conjunto que contém um NULL desqualifica todas as linhas, e um valor pesquisado NULL passa apenas contra um conjunto vazio. Cada proteção é omitida quando uma declaração NOT NULL prova que ela é desnecessária. Ao contrário das formas de array acima, essa proteção se aplica somente em uma condição de filtro simples (ou sob NOT); ainda não fazemos pushdown de IN (SELECT ...) (em uma posição de valor), nem de corpos de subconsulta agrupados ou agregados. Declarar colunas como NOT NULL maximiza o pushdown, pois permite enviar a forma mais econômica sem proteções; IMPORT FOREIGN SCHEMA faz isso automaticamente para colunas do ClickHouse que não são Nullable. A prova considera constantes não NULL, colunas NOT NULL e aritmética básica (+, -, *, - unário) sobre elas. Essas regras pressupõem o valor padrão do ClickHouse transform_null_in = 0, que o pg_clickhouse define em cada consulta por meio do valor padrão do parâmetro pg_clickhouse.session_settings, impedindo que um perfil de servidor do ClickHouse o altere silenciosamente. Definir transform_null_in = 1 quebra a semântica de todos os IN com pushdown.

Funções personalizadas

Estas funções personalizadas criadas por pg_clickhouse permitem o pushdown de consultas externas para determinadas funções do ClickHouse que não têm equivalentes no PostgreSQL. Se alguma dessas funções não puder ser processada via pushdown, será gerada uma exceção.

Pushdown de extensões

O pg_clickhouse reconhece funções de algumas extensões principais e de terceiros, fazendo o pushdown delas para seus equivalentes no ClickHouse.

re2

Todos os operadores e funções da [extensão re2] são convertidos 1:1 para o ClickHouse:

intarray

Uma função [intarray] pode fazer pushdown para o ClickHouse:

fuzzystrmatch

Duas funções [fuzzystrmatch] podem ser executadas no ClickHouse:

pgcyrpto

  • digest(text, text) e digest(bytea, text): função de hash correspondente do ClickHouse quando o algoritmo é uma constante md5, sha1, sha224, sha256, sha384 ou sha512 (sem diferenciar maiúsculas de minúsculas).

Casts com pushdown

O pg_clickhouse faz pushdown de casts como CAST(x AS bigint) para tipos de dados compatíveis. Para tipos incompatíveis, o pushdown falha; se x, neste exemplo, for um UInt64 do ClickHouse, o ClickHouse se recusará a converter o valor. Para fazer pushdown de casts para tipos de dados incompatíveis, o pg_clickhouse fornece as funções a seguir. Elas geram uma exceção no PostgreSQL se não forem executadas com pushdown.

Funções de agregação com pushdown

Estas funções de agregação do PostgreSQL oferecem suporte a pushdown para o ClickHouse.

Agregações personalizadas

Estas funções de agregação personalizadas criadas por pg_clickhouse fornecem pushdown de consultas externas para algumas funções de agregação do ClickHouse sem equivalentes no PostgreSQL. Se alguma dessas funções não puder ter pushdown, será gerada uma exceção.

Agregações ordered-set com pushdown

Estas funções de agregação de conjunto ordenado são mapeadas para funções de agregação paramétricas do ClickHouse, passando o argumento direto como parâmetro e as expressões de ORDER BY como argumentos. Por exemplo, esta consulta PostgreSQL:
Corresponde à seguinte consulta do ClickHouse:
Observe que os sufixos não padrão DESC e NULLS FIRST de ORDER BY não têm suporte e gerarão um erro.

Agregações ordered-set personalizadas

Estas funções de agregação de conjunto ordenado personalizadas, criadas pelo pg_clickhouse, oferecem pushdown de consultas externas para determinadas funções de agregação paramétricas do ClickHouse. Se não for possível aplicar pushdown a alguma dessas funções, será gerada uma exceção.

Agregados personalizados de conjunto ordenado

Estas funções de agregação de conjunto ordenado personalizadas, criadas pelo pg_clickhouse, permitem o pushdown de consultas externas para funções de [agregação paramétricas] selecionadas do ClickHouse. Se não for possível aplicar pushdown a alguma dessas funções, será gerada uma exceção.

Funções de janela com pushdown

Estas [funções de janela] do PostgreSQL fazem pushdown para o ClickHouse com cláusulas OVER (PARTITION BY ... ORDER BY ...), incluindo especificações de frame quando aplicável. As funções de ranking (row_number, rank, dense_rank, ntile, cume_dist, percent_rank) omitem a cláusula de frame durante o pushdown porque o ClickHouse rejeita especificações de frame nessas funções.

Notas de compatibilidade

Expressões regulares

Embora o pg_clickhouse faça pushdown de expressões regulares para equivalentes no ClickHouse quando pg_clickhouse.pushdown_regex é true (o padrão), e se esforce para garantir um nível básico de compatibilidade, esteja ciente das diferenças entre os dois e de como o pg_clickhouse as trata.
  • O PostgreSQL oferece suporte a [Expressões Regulares POSIX], enquanto o ClickHouse oferece suporte a [Expressões Regulares RE2][RE2]. Fique atento às diferenças de comportamento: use RE2 quando a expressão regular for avaliada pelo ClickHouse (por exemplo, em uma cláusula WHERE) e POSIX quando ela for avaliada pelo Postgres (por exemplo, em uma cláusula SELECT).
  • pg_clickhouse aplica as [flags do Postgres] prefixando-as à expressão regular do ClickHouse dentro de (?). Por exemplo:
    Passa a ser
  • As únicas flags compatíveis com ambos e, portanto, que podem ser usadas quando interpretadas pelo ClickHouse são: O RE2 oferece suporte apenas a estas flags; não use nenhuma outra [flags do Postgres].
  • Esta tabela resume os efeitos das várias flags (e da ausência de flag, que é o mesmo que s) na correspondência de quebras de linha e terminações de linha. Observe que, no Postgres, m e p impedem que classes de caracteres negadas ([^xyz]) correspondam a uma quebra de linha, enquanto os equivalentes no ClickHouse não. Fora isso, os comportamentos são os mesmos no ClickHouse e no Postgres:
  • Quaisquer outras flags passadas para funções de expressão regular impedem o pushdown da função.
  • A exceção é regexp_replace(), que também aceita a flag g. Quando g está definida, pg_clickhouse usa replaceRegexpAll() em vez de replaceRegexpOne() e remove a flag antes de adicionar outras flags no início.
  • O argumento de substituição de regexp_replace() no Postgres aceita \& para se referir à correspondência inteira, enquanto no ClickHouse \0 representa a correspondência inteira. Certifique-se de usar \0 quando a função fizer pushdown para o ClickHouse.
  • Postgres regexp_match retorna NULL quando não há correspondências, enquanto as expressões delegadas retornam um array vazio. Use COALESCE() para retornar um array vazio em vez de NULL e comparar os valores de retorno de forma compatível. Por exemplo:
Para evitar qualquer ambiguidade, considere definir pg_clickhouse.pushdown_regex para impedir que expressões regulares do Postgres façam pushdown para o ClickHouse e usar a [extensão re2], para a qual o pg_clickhouse oferece suporte a pushdown direto de expressões regulares [RE2] compatíveis com o ClickHouse.

to_char()

O [to_char()] do PostgreSQL para timestamp e timestamp with time zone só faz pushdown para o ClickHouse [formatDateTime] quando o argumento de formato é uma constante de string não NULL em que cada palavra-chave do PostgreSQL tem um equivalente idêntico byte a byte no ClickHouse. Se o formato for dinâmico ou contiver qualquer palavra-chave ou modificador sem suporte, a chamada recorre à avaliação local no PostgreSQL. O pg_clickhouse nunca faz pushdown de uma tradução parcial, para que a saída permaneça compatível. As variantes de to_char() com dois argumentos aplicadas a numeric, interval e outros tipos que não sejam timestamp nunca usam pushdown; o [formatDateTime] do ClickHouse apenas formata valores de data e hora.

Palavras-chave traduzidas

Texto entre aspas e literais

O texto entre "..." é passado literalmente, com qualquer % literal duplicado como %% para escapar o prefixo de especificador do ClickHouse. Um \" fora das aspas também é passado como um literal ". Dentro de "...", a barra invertida escapa apenas "; outras sequências com barra invertida são tratadas como texto literal.

Autores

David E. Wheeler Copyright (c) 2025-2026, ClickHouse [Array] https://clickhouse.com/docs/reference/data-types/array “Documentação do ClickHouse: Array(T)” [Map]: https://clickhouse.com/docs/sql-reference/data-types/map “Documentação do ClickHouse: Map” [Tuple]: https://clickhouse.com/docs/reference/data-types/tuple “Documentação do ClickHouse: Tuple(T1, T2, …)” [Nested]: https://clickhouse.com/docs/sql-reference/data-types/nested-data-structures/nested “Documentação do ClickHouse: Nested” [Enum]: https://clickhouse.com/docs/reference/data-types/enum “Documentação do ClickHouse: Enum” [String]: /reference/data-types/string “Documentação do ClickHouse: String” [TEXT]: https://www.postgresql.org/docs/current/datatype-character.html “Documentação do PostgreSQL: Tipos de caracteres” [window functions]: https://www.postgresql.org/docs/current/functions-window.html “Documentação do PostgreSQL: Funções de janela” [POSIX Regular Expressions]: https://www.postgresql.org/docs/current/functions-matching.html#FUNCTIONS-POSIX-REGEXP “Documentação do PostgreSQL: Expressões regulares POSIX” [Postgres flags]: https://www.postgresql.org/docs/current/functions-matching.html#POSIX-EMBEDDED-OPTIONS-TABLE “Documentação do PostgreSQL: Letras de opções embutidas do ARE” [RE2]: https://github.com/google/re2/wiki/Syntax “Sintaxe do RE2” [re2 extension]: https://github.com/ClickHouse/pg&#95;re2 “pg_re2: funções de regex compatíveis com ClickHouse usando RE2” [intarray]: https://www.postgresql.org/docs/current/intarray.html “Documentação do PostgreSQL: intarray” [fuzzystrmatch]: https://www.postgresql.org/docs/current/fuzzystrmatch.html “Documentação do PostgreSQL: fuzzystrmatch” [to_char()]: https://www.postgresql.org/docs/current/functions-formatting.html “Documentação do PostgreSQL: Funções de formatação de tipos de dados” [formatDateTime]: /reference/functions/regular-functions/date-time-functions#formatDateTime “Documentação do ClickHouse: formatDateTime”