ClickHouse Connector Sink como Custom Connector no Confluent Cloud

Pré-requisitos

Partimos do pressuposto de que você já esteja familiarizado com:

ClickHouse Connector Sink
Confluent Cloud e Custom Connectors.

Esta página explica como fazer, por conta própria, o upload do connector para o Confluent Cloud. Se você não precisa de uma versão específica do connector nem de configurações personalizadas, o connector totalmente gerenciado é mais simples de configurar.

O connector oficial do Kafka da ClickHouse como um Custom Connector

Instalação como Custom Connector

Este é um guia rápido para ajudar você a começar a usar o ClickHouse Sink Connector como Custom Connector no Confluent Cloud. Para mais detalhes, consulte a documentação oficial da Confluent.

Criar um tópico

Criar um tópico no Confluent Cloud é bastante simples, e há instruções detalhadas aqui.

Observações importantes

O nome do tópico do Kafka deve ser o mesmo da tabela do ClickHouse. A forma de ajustar isso é usando um transformador (por exemplo, ExtractTopic).
Mais partições nem sempre significam mais desempenho — consulte nosso próximo guia para mais detalhes e dicas de performance.

Instalar o conector

Você pode baixar o conector em nosso repositório — sinta-se à vontade para enviar comentários e relatar problemas por lá também! Navegue até “Connector Plugins” -> “Add plugin” e use as seguintes configurações:

'Connector Class' - 'com.clickhouse.kafka.connect.ClickHouseSinkConnector'
'Connector type' - Sink
'Sensitive properties' - 'password'. This will ensure entries of the ClickHouse password are masked during configuration.

Exemplo:

Reúna os detalhes da conexão

Para se conectar ao ClickHouse via HTTP(S), você precisa das seguintes informações:

Parâmetro(s)	Descrição
`HOST` and `PORT`	Normalmente, a porta é 8443 ao usar TLS ou 8123 quando não se usa TLS.
`DATABASE NAME`	Por padrão, há um banco de dados chamado `default`; use o nome do banco de dados ao qual você deseja se conectar.
`USERNAME` and `PASSWORD`	Por padrão, o nome de usuário é `default`. Use o nome de usuário apropriado para o seu caso de uso.

Os detalhes do seu serviço do ClickHouse Cloud estão disponíveis no console do ClickHouse Cloud. Selecione um serviço e clique em Connect:

Escolha HTTPS. Os detalhes de conexão são exibidos em um comando curl de exemplo.

detalhes de conexão HTTPS do ClickHouse Cloud

Se você estiver usando ClickHouse autogerenciado, os detalhes de conexão são definidos pelo administrador do seu ClickHouse.

Configurar o conector

Acesse Connectors -> Add Connector e use as configurações a seguir (observe que os valores são apenas exemplos):

{
  "database": "<DATABASE_NAME>",
  "errors.retry.timeout": "30",
  "exactlyOnce": "false",
  "schemas.enable": "false",
  "hostname": "<CLICKHOUSE_HOSTNAME>",
  "password": "<SAMPLE_PASSWORD>",
  "port": "8443",
  "ssl": "true",
  "topics": "<TOPIC_NAME>",
  "username": "<SAMPLE_USERNAME>",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter.schemas.enable": "false"
}

Especifique os endpoints de conexão

Você precisa especificar a lista de permissões de endpoints que o conector pode acessar. Ao adicionar os endpoints de egress da rede, você deve usar um nome de domínio totalmente qualificado (FQDN). Example: u57swl97we.eu-west-1.aws.clickhouse.com:8443

Você deve especificar a porta HTTP(S). O Connector ainda não oferece suporte ao protocolo nativo.

Leia a documentação. Tudo pronto!

Limitações conhecidas

Os Custom Connectors devem usar endpoints públicos na internet. Endereços IP estáticos não são compatíveis.
Você pode substituir algumas propriedades dos Custom Connectors. Veja a lista completa na documentação oficial.
Os Custom Connectors estão disponíveis apenas em algumas regiões da AWS
Consulte a lista de limitações dos Custom Connectors na documentação oficial

Fontes de dados

Visualização de dados

Ingestão de dados

Integrações de dados

Clientes SQL

Ferramentas

ClickHouse Connector Sink como Custom Connector no Confluent Cloud

Pré-requisitos

O connector oficial do Kafka da ClickHouse como um Custom Connector

Instalação como Custom Connector

Criar um tópico

Observações importantes

Instalar o conector

Reúna os detalhes da conexão

Configurar o conector

Especifique os endpoints de conexão

Limitações conhecidas

​Pré-requisitos

​O connector oficial do Kafka da ClickHouse como um Custom Connector

​Instalação como Custom Connector

​Criar um tópico

​Observações importantes

​Instalar o conector

​Reúna os detalhes da conexão

​Configurar o conector

​Especifique os endpoints de conexão

​Limitações conhecidas

Pré-requisitos

O connector oficial do Kafka da ClickHouse como um Custom Connector

Instalação como Custom Connector

Criar um tópico

Observações importantes

Instalar o conector

Reúna os detalhes da conexão

Configurar o conector

Especifique os endpoints de conexão

Limitações conhecidas