Pré-requisitos
- Amazon RDS Postgres
- Amazon Aurora Postgres
- Supabase Postgres
- Google Cloud SQL Postgres
- Azure Flexible Server for Postgres
- Neon Postgres
- Crunchy Bridge Postgres
- Origem genérica do Postgres, se você estiver usando qualquer outro provedor de Postgres ou uma instância self-hosted.
- TimescaleDB, se você estiver usando a extensão TimescaleDB em um serviço gerenciado ou em uma instância self-hosted.
Criando seu ClickPipe
- No console do ClickHouse Cloud, navegue até seu serviço do ClickHouse Cloud.
- Selecione o botão
Data Sourcesno menu à esquerda e clique em “Set up a ClickPipe”
-
Selecione o bloco
Postgres CDC
Adicionando a conexão com seu banco de dados Postgres de origem
- Preencha os detalhes da conexão com o seu banco de dados Postgres de origem, configurado na etapa de pré-requisitos.
Antes de começar a adicionar os detalhes da conexão, certifique-se de adicionar os endereços IP do ClickPipes à lista de permissões das regras do seu firewall. Você pode encontrar a lista de endereços IP do ClickPipes aqui.
Para mais informações, consulte os guias de configuração do Postgres de origem vinculados no topo desta página.
(Opcional) Configurar o AWS Private Link
(Opcional) Configuração do tunelamento SSH
- Ative a opção “Usar tunelamento SSH”.
- Preencha os detalhes da conexão SSH.
-
Para usar autenticação baseada em chave, clique em “Revogar e gerar par de chaves” para gerar um novo par de chaves e copie a chave pública gerada para o servidor SSH em
~/.ssh/authorized_keys. - Clique em “Verificar conexão” para verificar a conexão.
Certifique-se de adicionar os endereços IP do ClickPipes à lista de permissões do firewall do host bastion SSH para que o ClickPipes possa estabelecer o túnel SSH.
Configurando as definições de replicação
- Certifique-se de selecionar o slot de replicação na lista suspensa que você criou na etapa de pré-requisitos.
Configurações avançadas
- Intervalo de sincronização: Este é o intervalo em que o ClickPipes consultará o banco de dados de origem em busca de alterações. Isso tem impacto no serviço ClickHouse de destino; para usuários mais sensíveis a custos, recomendamos manter esse valor mais alto (acima de
3600). - Threads em paralelo para a carga inicial: Este é o número de workers em paralelo que serão usados para buscar o snapshot inicial. Isso é útil quando você tem um grande número de tabelas e quer controlar o número de workers em paralelo usados para buscar o snapshot inicial. Essa configuração é aplicada por tabela.
- Tamanho do lote de extração: O número de linhas a buscar em um único lote. Esta é uma configuração de melhor esforço e pode não ser respeitada em todos os casos.
- Número de linhas por partição no snapshot: Este é o número de linhas que serão buscadas em cada partição durante o snapshot inicial. Isso é útil quando você tem um grande número de linhas em suas tabelas e quer controlar o número de linhas buscadas em cada partição.
- Número de tabelas em paralelo no snapshot: Este é o número de tabelas que serão buscadas em paralelo durante o snapshot inicial. Isso é útil quando você tem um grande número de tabelas e quer controlar o número de tabelas buscadas em paralelo.
Configurando as tabelas
- Aqui, você pode selecionar o banco de dados de destino do seu ClickPipe. Você pode selecionar um banco de dados existente ou criar um novo.
- Você pode selecionar as tabelas que deseja replicar do banco de dados Postgres de origem. Ao selecionar as tabelas, também é possível renomeá-las no banco de dados ClickHouse de destino, bem como excluir colunas específicas.
Revise as permissões e inicie o ClickPipe
- Selecione a função “Full access” no menu suspenso de permissões e clique em “Concluir configuração”.